HOME > 상세정보

상세정보

9가지 사례로 익히는 고급 스파크 분석 : 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

자료유형
단행본
개인저자
Ryza, Sandy, 저 Laserson, Uri, 저 Owen, Sean, 저 Wills, Josh, 저 박상은, 역 권한철, 역 서양주, 역
서명 / 저자사항
9가지 사례로 익히는 고급 스파크 분석 : 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝 / 샌디 라이자 [외]지음 ; 박상은, 권한철, 서양주 옮김
발행사항
서울 : 한빛미디어, 2018
형태사항
332 p. : 삽화, 도표 ; 24 cm
원표제
Advanced analytics with Spark : patterns for learning from data at scale (2nd ed.)
ISBN
9791162240526
일반주기
공저자: 유리 레이저슨, 션 오언, 조시 윌스 색인수록
일반주제명
Big data Data mining --Computer programs
000 00000nam c2200205 c 4500
001 000045936060
005 20180321161016
007 ta
008 180321s2018 ulkad 001c kor
020 ▼a 9791162240526 ▼g 93000
040 ▼a 211009 ▼c 211009 ▼d 211009
041 1 ▼a kor ▼h eng
082 0 4 ▼a 006.3/12 ▼2 23
085 ▼a 006.312 ▼2 DDCK
090 ▼a 006.312 ▼b 2018z1
245 0 0 ▼a 9가지 사례로 익히는 고급 스파크 분석 : ▼b 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝 / ▼d 샌디 라이자 [외]지음 ; ▼e 박상은, ▼e 권한철, ▼e 서양주 옮김
246 1 9 ▼a Advanced analytics with Spark : ▼b patterns for learning from data at scale ▼g (2nd ed.)
246 3 ▼a 아홉가지 사례로 익히는 고급 스파크 분석
246 3 0 ▼a 고급 스파크 분석
246 3 0 ▼a 스파크 분석
260 ▼a 서울 : ▼b 한빛미디어, ▼c 2018
300 ▼a 332 p. : ▼b 삽화, 도표 ; ▼c 24 cm
500 ▼a 공저자: 유리 레이저슨, 션 오언, 조시 윌스
500 ▼a 색인수록
630 0 0 ▼a Spark (Electronic resource : Apache Software Foundation)
650 0 ▼a Big data
650 0 ▼a Data mining ▼x Computer programs
700 1 ▼a Ryza, Sandy, ▼e
700 1 ▼a Laserson, Uri, ▼e
700 1 ▼a Owen, Sean, ▼e
700 1 ▼a Wills, Josh, ▼e
700 1 ▼a 박상은, ▼e
700 1 ▼a 권한철, ▼e
700 1 ▼a 서양주, ▼e
900 1 0 ▼a 라이자, 샌디, ▼e
900 1 0 ▼a 레이저슨, 유리, ▼e
900 1 0 ▼a 오언, 션, ▼e
900 1 0 ▼a 윌스, 조시, ▼e
945 ▼a KLPA

소장정보

No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.312 2018z1 등록번호 121243840 도서상태 대출가능 반납예정일 예약 서비스 B M
No. 2 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.312 2018z1 등록번호 121244083 도서상태 대출중 반납예정일 2021-07-14 예약 서비스 M
No. 3 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.312 2018z1 등록번호 121244084 도서상태 대출가능 반납예정일 예약 서비스 B M

컨텐츠정보

책소개

대량의 데이터셋을 가지고 스파크 2를 활용해 복잡한 분석과 머신러닝 학습을 실제로 해보는 생생한 느낌을 전달한다. 단순히 모델을 구축하고 평가하는 데 그치지 않고, 데이터 정제부터 전처리, 데이터 조사, 실제 제품을 만들기까지의 전체 파이프라인을 보여준다. 이러한 과정을 다양한 분야에서 가져온 현실 예제에 맞게 교차 최소 제곱 추천 알고리즘, 의사 결정 나무, K-평균 군집화, 숨은 의미 분석, 세션화, 몬테카를로 시뮬레이션 등의 기법을 동원해 풀어본다.

1판이 출간된 이후 스파크의 메이저 버전이 올라가면서 완전히 새로운 핵심 API가 도입되고 MLlib이나 Spark SQL과 같은 하위 컴포넌트들도 크게 바뀌었다. 이러한 변화들이 반영되다 보니, 이 책 초판의 많은 부분이 의미가 없게 되었다. 이번 2판은 새로운 스파크 API를 사용하기 위해서 모든 장을 수정하였다.

다양한 현실 세계 예제로 스파크 2의 진면목을 경험한다.

이 책은 독자에게 대량의 데이터셋을 가지고 스파크 2를 활용해 복잡한 분석과 머신러닝 학습을 실제로 해보는 생생한 느낌을 전달한다. 단순히 모델을 구축하고 평가하는 데 그치지 않고, 데이터 정제부터 전처리, 데이터 조사, 실제 제품을 만들기까지의 전체 파이프라인을 보여준다. 이러한 과정을 다양한 분야에서 가져온 현실 예제에 맞게 교차 최소 제곱 추천 알고리즘, 의사 결정 나무, K-평균 군집화, 숨은 의미 분석, 세션화, 몬테카를로 시뮬레이션 등의 기법을 동원해 풀어본다.

스파크 2 실전편! 실무와 가장 가까운 경험을 제공한다.

이 책은 기능과 API를 단조롭게 나열하지 않는다. 현실과 동떨어진, 예제를 위한 예제를 따라 하지도 않는다. 대신 우리 주변에서 찾을 수 있고 우리 삶과 밀접한 실제 데이터를 가져와 함께 분석하고 다듬어본다. 그것도 하나가 아니라 9가지다. 음악 추천부터 이상 탐지, 교통, 금융, 영상 데이터 등 관심 가는 장을 먼저 봐도 좋고, 차례대로 천천히 따라 해도 좋다. 그럼 가장 진보한 분석 도구인 스파크 2로 다 함께 데이터의 바다를 항해해보자!

2판에 관하여
1판이 출간된 이후 스파크의 메이저 버전이 올라가면서 완전히 새로운 핵심 API가 도입되고 MLlib이나 Spark SQL과 같은 하위 컴포넌트들도 크게 바뀌었다. 이러한 변화들이 반영되다 보니, 이 책 초판의 많은 부분이 의미가 없게 되었다. 이번 2판은 새로운 스파크 API를 사용하기 위해서 모든 장을 수정하였다.

주요 내용
1. 오디오스크로블러(AudioScrobbler) 데이터셋으로 음악 추천하기
2. 의사 결정 나무로 산림 식생 분포 예측하기
3. K-평균 군집화로 네트워크 이상 탐지하기
4. 숨은 의미 분석으로 위키백과 이해하기
5. 그래프엑스(GraphX)로 동시발생 네트워크 분석하기
6. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기
7. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기
8. BDG 프로젝트와 유전체학 데이터 분석하기
9. 파이스파크(PySpark)와 썬더(Thunder)로 신경 영상 데이터 분석하기


정보제공 : Aladin

저자소개

샌디 라이자(지은이)

클라우데라의 선임 데이터 과학자이자 아파치 스파크 프로젝트의 활동적인 컨트리뷰터다. 최근에 클라우데라에서 스파크 개발을 이끌었으며 지금은 고객들이 스파크를 사용해 다양한 형태의 분석을 구현하는 데 도움을 주고 있다. 또한 하둡 프로젝트의 관리 위원회 멤버이기도 하다.

유리 레이저슨(지은이)

클라우데라의 선임 데이터 과학자이며, 하둡 생태계에서의 파이썬 활용에 주력하고 있다. 또한 고객들이 다양한 문제에 하둡을 사용할 수 있도록 지원하고 있는데, 특히 생명 과학과 헬스 케어에 집중하고 있다. 이전에는 MIT에서 생의공학(biomedical engineering) 박사 과정 중에 Good Start Genetics라는 차세대 검진 회사를 공동 창업했다.

조시 윌스(지은이)

슬랙(Slack) 데이터 엔지니어링팀의 디렉터다. 전에는 클라우데라의 데이터 과학팀의 선임 디렉터로써 고객들과 함께 다양한 업계의 하둡 기반 솔루션을 개발했다. 자바로 최적화된 맵리듀스와 스파크 파이프라인을 만드는 아파치 크런치(Apache Crunch) 프로젝트의 창설자이며 커미터를 맡고 있다. 클라우데라에 합류하기 전에는 구글에서 광고 경매 시스템을 개발했고, Google+에서 사용하는 분석 인프라의 개발을 이끌었다.

션 오언(지은이)

클라우데라의 유럽/중동/아프리카 대상 데이터 과학팀의 디렉터다. 아파치 머하웃 기계 학습 프로젝트의 커미터이자 중요한 컨트리뷰터로, 머하웃의 Taste 추천 프레임워크를 개발했다. 션은 아파치 스파크의 커미터이기도 하다. 스파크, 스파크 스트리밍, 그리고 카프카로 개발한 하둡에서 동작하는 실시간 대규모 학습을 위한 Oryx 프로젝트(예전에는 Myrrix라고 불렸던)를 만들었다.

박상은(옮긴이)

컴퓨터에 붙은 그림을 보고 애플이라는 단어의 뜻을 알게 된 이 땅의 흔한 개발자 중 한 사람. 대학원에서 인공지능을 공부했지만 졸업 이후 메일, 브라우저, CMS, 도서 관리 시스템, 빅데이터 플랫폼 등 인공지능과 큰 관련이 없는 다양한 프로젝트에 참여해오다 뒤늦게 다시 인공지능과 머신러닝에서 비전을 찾아 어슬렁거리고 있다. 최근에는 딥러닝의 재미있는 주제들을 연구하고, 이를 사업화하는 데 관심을 가지고 있다. 공역한 책으로 『9가지 사례로 익히는 고급 스파크 분석(개정판)』(한빛미디어, 2018)이 있다.

권한철(옮긴이)

에스코어의 빅데이터 플랫폼인 BigPod™ 개발자로 빅데이터 분석에 스파크를 활용하는 데 주력하고 있다. 특히 실시간 스트리밍 데이터 분석과 통계 및 기계 학습 알고리즘을 활용한 데이터 분석에 관심이 많으며, 인간 생활을 이롭게 하는 기술과 제품을 만드는 것을 개발자로서의 삶의 목표로 하고 있다.

서양주(옮긴이)

한국과학기술원 학부에서 수학을, 서울대학교에서 석사과정으로 통계학을 전공하였으며, 티맥스소프트를 시작으로 개발자로서 일하게 되었다. 그 후 에스코어에서 2013년 하둡과 스파크를 접한 이후로 빅데이터 분석 업무를 주 업무로 수행하게 되었다. 현재는 카카오 RUBICS TF에서 실시간 콘텐츠 추천 업무를 하고 있다.

정보제공 : Aladin

목차

1장. 빅데이터 분석하기 
1.1 데이터 과학의 어려움 
1.2 아파치 스파크란 
1.3 이 책에 관하여 
1.4 2판에 관하여 

2장. 스칼라와 스파크를 활용한 데이터 분석 
2.1 데이터 과학자를 위한 스칼라 
2.2 스파크 프로그래밍 모델 
2.3 레코드 링크 
2.4 스파크 셸과 SparkContext 시작하기 
2.5 클러스터에서 클라이언트로 데이터 가져오기 
2.6 클라이언트에서 클러스터로 코드 보내기 
2.7 RDD에서 Data Frame으로 
2.8 DataFrame API로 데이터 분석하기 
2.9 데이터프레임에 대한 빠른 요약 통계 
2.10 데이터프레임의 축 회전과 형태변환 
2.11 데이터프레임을 결합하고 특징 선택하기 
2.12 실제 환경을 위한 모델 준비하기 
2.13 모델 평가 
2.14 한 걸음 더 나아가기 

3장. 음악 추천과 Audioscrobbler 데이터셋 
3.1 데이터셋 
3.2 교차 최소 제곱 추천 알고리즘 
3.3 데이터 준비하기 
3.4 첫 번째 모델 만들기 
3.5 추천 결과 추출 검사하기 
3.6 추천 품질 평가하기 
3.7 AUC 계산하기 
3.8 하이퍼파라미터 선택하기 
3.9 추천 결과 만들기 
3.10 한 걸음 더 나아가기 

4장. 의사 결정 나무로 산림 식생 분포 예측하기 
4.1 회귀로 돌아와서 
4.2 벡터와 특징 
4.3 학습 예제 
4.4 의사 결정 나무와 랜덤 포레스트 
4.5 Covtype 데이터셋 
4.6 데이터 준비하기 
4.7 첫 번째 의사 결정 나무 
4.8 의사 결정 나무 하이퍼파라미터 
4.9 의사 결정 나무 튜닝하기 
4.10 범주형 특징 다시 살펴보기 
4.11 랜덤 포레스트 
4.12 예측하기 
4.13 한 걸음 더 나아가기 

5장. K-평균 군집화로 네트워크 이상 탐지하기 
5.1 이상 탐지 
5.2 K-평균 군집화 
5.3 네트워크 침입 
5.4 KDD 컵 1999 데이터셋 
5.5 첫 번째 군집화하기 
5.6 k 선정하기 
5.7 R에서 시각화하기 
5.8 특징 정규화 
5.9 범주형 변수 
5.10 엔트로피와 함께 레이블 활용하기 
5.11 군집화하기 
5.12 한 걸음 더 나아가기 

6장. 숨은 의미 분석으로 위키백과 이해하기 
6.1 문서-단어 행렬 
6.2 데이터 구하기 
6.3 파싱하여 데이터 준비하기 
6.4 표제어 추출 
6.5 단어빈도-역문서빈도(TF-IDF) 계산하기 
6.6 특잇값 분해 
6.7 중요한 의미 찾기 
6.8 낮은 차원 표현에 대한 의문과 고찰 
6.9 단어와 단어 사이의 연관도 
6.10 문서와 문서 사이의 연관도 
6.11 문서와 단어 사이의 연관도 
6.12 여러 개의 단어로 질의하기 
6.13 한 걸음 더 나아가기 

7장. 그래프엑스로 동시발생 네트워크 분석하기 
7.1 네트워크 분석 사례: MEDLINE의 인용 색인 
7.2 데이터 구하기 
7.3 스칼라 XML 라이브러리로 XML 문서 파싱하기 
7.4 MeSH 주요 주제와 주제들의 동시발생 분석하기 
7.5 그래프엑스로 동시발생 네트워크 구성하기 
7.6 네트워크의 구조 이해하기 
7.7 관련성 낮은 관계 필터링하기 
7.8 작은 세상 네트워크 
7.9 한 걸음 더 나아가기 

8장. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기 
8.1 데이터 얻기 
8.2 스파크에서 서드파티 라이브러리로 작업하기 
8.3 지리 데이터와 Esri Geometry API, 그리고 Spray 
8.4 뉴욕 택시 운행 데이터 준비하기 
8.5 스파크에서 세션화 작업 수행하기 
8.6 한 걸음 더 나아가기 

9장. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기 
9.1 전문 용어 
9.2 VaR 계산 방법 
9.3 우리의 모델 
9.4 데이터 구하기 
9.5 전처리하기 
9.6 요인 가중치 결정하기 
9.7 표본추출 
9.8 실험 실행하기 
9.9 수익 분포 시각화하기 
9.10 결과 평가하기 
9.11 한 걸음 더 나아가기 

10장. BDG 프로젝트와 유전체학 데이터 분석하기 
10.1 모델링과 저장소를 분리하기 
10.2 ADAM CLI를 이용한 유전체학 데이터 처리 
10.3 ENCODE 데이터로부터 전사인자 결합 부위 예측하기 
10.4 1000 지놈 프로젝트에서 유전자형 질의하기 
10.5 한 걸음 더 나아가기 

11장. 파이스파크와 썬더로 신경 영상 데이터 분석하기 
11.1 파이스파크 소개 
11.2 썬더 라이브러리 개요와 설치 
11.3 썬더로 데이터 읽어 들이기 
11.4 썬더로 신경 세포 유형 분류하기 
11.5 한 걸음 더 나아가기

관련분야 신착자료

Taulli, Tom (2020)