상세정보

이 책은 하둡의 높은 학습 곡선을 조금이라도 해소하고, 실제 실무에서 접할 수 있는 간이 형태의 프로젝트 가이드를 보여준다. 따라하며 배울 수 있는 하둡을 활용한 빅데이터 분석 실무에 대한 좋은 참고서다.

데이터 ETL과 압축, 직렬화, 가져오기와 내보내기, 기본 및 고급 집계 분석, 트러블슈팅과 디버깅, 확장성 있는 퍼시스턴스 사용, 클러스터 관리와 구성 등 총 10장으로 구성되었고, 하둡 초보자는 책의 설명을 통해 쉽게 배워볼 수 있으며 경험이 있는 하둡 개발자는 많은 도구와 기술로 다양한 사고 전환의 기회를 접할 수 있다.

이 책의 기획 의도는 실무에서 접할 수 있는 수많은 환경의 일부를 간접적으로 경험하게 하는 것이다. 그래서 뒤로 갈수록 조금씩 어려워질 있고 배경지식이 필요하다. 하지만 끝까지 살펴볼 수 있는 좋은 책이다.

★ 요약 ★
하둡(Hadoop)과 하둡 에코시스템은 데이터 라이프사이클을 책임진다고 해도 과언이 아니다. 분명 하둡은 배우기가 수월하지 않은 학습 곡선이 존재하지만, 데이터 환경에 둘러 싸여 있다면 꼭 익혀야 할 가치가 있는 기술이다. 이 책은 하둡의 높은 학습 곡선을 조금이라도 해소하고, 실제 실무에서 접할 수 있는 간이 형태의 프로젝트 가이드를 보여준다. 따라하며 배울 수 있는 하둡을 활용한 빅데이터 분석 실무에 대한 좋은 참고서다.

★ 이 책에서 다루는 내용 ★
■ 데이터 ETL과 압축, 직렬화, 가져오기와 내보내기
■ 기본 및 고급 집계 분석
■ 그래프 분석
■ 기계 학습
■ 트러블슈팅과 디버깅
■ 확장성 있는 퍼시스턴스 사용
■ 클러스터 관리와 구성


★ 이 책의 대상 독자 ★
이 책에서는 하둡으로 해결할 수 있는 여러 형태의 실제 문제를 강조하기 위해 구체적인 코드 예제를 사용한다. 따라서 하둡과 관련 도구를사용해 개발자에게 친숙하도록 설계되었다. 하둡 초보자는 책의 설명을 통해 쉽게 배워볼 수 있으며 하둡 애플리케이션의 실제 사례를 경험할 수 있다. 경험이 있는 하둡 개발자는 많은 도구와 기술로 다양한 사고 전환의 기회를 접할 수 있으며, 익숙했던 하둡 프레임워크이지만 다시 명확하게 이해하는 계기가 될 것이다.


★ 이 책의 구성 ★
1장 하둡 분산 파일 시스템: 데이터 가져오기와 내보내기에서는 피그와 플룸(Flume), 스쿱(Sqoop) 같은 도구의 도움으로 MySQL과 몽고디비(MongoDB), 그린플럼(Greenplum), MS-SQL 서버 같은 대중적인 데이터베이스 간의 데이터를 적재하거나 업로드하는 여러 접근법을 보여준다.

2장 HDFS는 HDFS에서 읽고 쓰는 것을 다룬다. 에이브로(Avro)와 스리프트(Thrift), 프로토콜 버퍼(Protocol Buffers)의 직렬화 라이브러리를 사용해서 보여준다. 또 블록 크기와 복제, LZO 압축을 설정하는 방법을 다룬다.

3장 데이터 추출과 변환에서는 여러 형태의 데이터 소스로 기초적인 하둡 ETL을 다룬다. 하이브(Hive)와 피그(Pig), 자바 맵리듀스(MapReduce) API 등의 다양한 도구는 데이터 샘플과 하나 이상의 출력을 다루는 배치 프로세스에서 사용된다.

4장, 하이브와 피그, 맵리듀스를 사용한 공통 태스크 수행에서는 문제의 여러 가지 클래스를 다루는 도구를 활용하는 방법에 중점을 둔다. 문자열 연결과 외부 테이블 매핑, 간단한 테이블 조인, 사용자 정의 함수, 클러스터 간의 의존성 배포를 다룬다.

5장, 고급 조인에서는 맵리듀스(MapReduce)와 하이브(Hive), 피그(Pig)상에서 좀 더 복잡하고 유용한 조인 테크닉을 다룬다. 해당 절에서는 피그로 병합과 복제, 편향 조인을 보여주고, 하이브 맵 사이드와 완전 외부 조인도다룬다. 또 외부의 데이터 저장소에서 데이터를 조인하는 레디스(Redis)의 사용법을 보여준다.

6장, 빅 데이터 분석에서는 데이터에 대한 다양한질문에 대답하기 위해 하둡 사용을 설계하는 방법을 보여준다. 하이브 예제 중 일부는 제대로 구현하고 다른 분석에서 재사용하기 위한 사용자 정의 함수(UDF)를 사용하는 방법을 보여준다. 두 가지의 피그 절로 Audioscrobbler 데이터셋과 하나의 맵리듀스 자바 API 절은 컴바이너(Combiner)를 다루어 다른 분석을 보여준다.

7장, 고급 빅 데이터 분석에서는 다른 형태의그래프 분석과 기계 학습 과제를 다루는 아파치 지라프(Apache Giraph)와 머하웃(Mahout) 절을 보여준다.

8장, 디버깅은 트러블슈팅과 맵리듀스 잡의 테스트를 지원하기 위한 설계 절을 포함한다. 테스트를 쉽게 하기 위해 MRUnit과 로컬 모드를 사용하는 방법을 예제로 보여준다. 또한 맵리듀스 잡 모니터링을 위한 태스크 업데이트 상태와 카운터(Counter) 사용의 중요성을 강조한다.

9장, 시스템 관리에서는 하둡에서 사용 가능한다양한 설정으로 성능 튜닝과 최적화 방법을 주로 살펴본다. 기초적인 설정과 XML 구성 튜닝, 나쁜 데이터노드의 트러블슈팅, 네임노드 실패, 갱글리아(Ganglia)를 사용한 성능 모니터링 등 여러 가지 주제를 다룬다.

10장 아파치 어큐뮬로를 사용한 퍼시스턴스화에서는 NoSQL 데이터 저장소인 아파치 어큐뮬로(Accumulo)를 사용해 특별하고 다양한 기능을 보여준다. 이터레이터와 컴바이너, 스캔 인증 권한, 제약 조건을 포함한 많은 특별한 기능을 다룬다. 또 효율적인 지리공간의 로우 키를 구축하고 맵리듀스 배치를 이용한 분석도 수행한다.

정보제공 :

지은이 소개 = 6
기술 감수자 소개 = 8
옮긴이 소개 = 11
옮긴이의 말 = 12
들어가며 = 19
1장 하둡 분산 파일 시스템: 데이터 가져오기와 내보내기 = 25
 개요 = 25
 하둡 셸 명령어를 사용해 데이터를 내보내고 HDFS로 데이터 가져오기 = 26
 분산 복사를 사용한 클러스터 간의 효율적인 데이터 이동 = 34
 스쿱을 사용해 데이터를 MySQL에서 HDFS로 가져오기 = 36
 스쿱을 사용해 데이터를 HDFS에서 MySQL로 내보내기 = 40
 MS-SQL 서버를 위한 스쿱 구성 = 45
 데이터를 HDFS에서 몽고DB로 내보내기 = 47
 데이터를 몽고DB에서 HDFS로 가져오기 = 51
 피그를 사용해 데이터를 HDFS에서 몽고DB로 내보내기 = 55
 그린플럼 외부 테이블에서의 HDFS 사용 = 57
 데이터를 HDFS로 적재하기 위한 플룸 사용 = 59
2장 HDFS = 63
 개요 = 63
 HDFS에서 데이터 읽고 쓰기 = 65
 LZO를 사용한 데이터 압축 = 67
 시퀀스파일로 데이터 읽고 쓰기 = 71
 데이터 직렬화를 위한 아파치 에이브로 사용 = 76
 데이터 직렬화를 위한 아파치 스리프트 사용 = 81
 데이터 직렬화를 위한 프로토콜 버퍼 사용 = 86
 HDFS 복제 계수 설정 = 91
 HDFS 블록 크기 설정 = 92
3장 데이터 추출과 변환 = 95
 개요 = 95
 맵리듀스를 사용해 아파치 로그를 TSV 포맷으로 변환 = 96
 웹 서버 로그에서 봇 트래픽을 필터링하기 위한 아파치 피그 사용 = 99
 웹 서버 로그 데이터를 타임스탬프로 정렬하기 위한 아파치 피그 사용 = 103
 웹 서버 로그 데이터를 세션화하기 위한 아파치 피그 사용 = 105
 아파치 피그 기능 확장을 위한 파이썬 사용 = 109
 페이지 뷰를 계산하기 위한 맵리듀스와 보조 정렬 사용 = 111
 지리 이벤트 데이터를 정리하고 변환하기 위한 하이브와 파이썬 사용 = 118
 시계열 분석을 수행하기 위한 파이썬과 하둡 스트리밍 사용 = 123
 출력 파일 이름을 지정하기 위한 맵리듀스의 MultipleOutputs 사용 = 129
 지리 이벤트 데이터를 읽기 위한 사용자 정의 하둡 Writable과 InputFormat 생성 = 133
4장 하이브와 피그, 맵리듀스를 사용한 공통 태스크 수행 = 143
 개요 = 143
 HDFS에서 웹로그 데이터와 외부 테이블을 매핑하기 위한 하이브 사용 = 144
 웹로그 쿼리 결과로부터 동적으로 테이블을 생성하기 위한 하이브 사용 = 146
 웹로그 데이터에서 필드를 연결하기 위한 하이브의 문자열 UDF 사용 = 149
 웹로그의 IP를 조인해서 해당 IP에 맞는 국가를 찾기 위한 하이브 사용 = 152
 맵리듀스를 사용한 뉴스 아카이브에서의 n-그램 생성 = 155
 뉴스 아카이브에서 특정 키워드를 포함하는 라인을 찾기 위한 맵리듀스 분산 캐시 사용 = 161
 데이터를 테이블에 적재하고 GROUP BY 절을 갖는 SELECT 문의 연산을 수행하기 위한 피그 사용 = 167
5장 고급 조인 = 169
 개요 = 169
 매퍼에서 맵리듀스를 사용한 데이터 조인 = 170
 아파치 피그의 복제 조인을 사용한 데이터 조인 = 174
 아파치 피그의 병합 조인을 사용한 정렬 데이터 조인 = 176
 아파치 피그의 편향 조인을 사용한 편향 데이터 조인 = 179
 지리 이벤트를 분석하기 위한 아파치 하이브 맵 사이드 조인 사용 = 181
 지리 이벤트를 분석하기 위한 아파치 하이브 완전 외부 조인 최적화 = 184
 외부 키／값 저장소(레디스)를 사용한 데이터 조인 = 188
6장 빅 데이터 분석 = 195
 개요 = 195
 맵리듀스와 컴바이너를 사용해 웹로그 데이터에서 개별 IP 주소 카운트 = 196
 지리 이벤트 데이터에서 이벤트 날짜를 변환하고 정렬하기 위한 하이브 날짜 UDF 사용 = 203
 지리 이벤트 데이터를 통해 월별 사망 보고서를 작성하기 위한 하이브 사용 = 206
 지리 이벤트 데이터의 소스 신뢰성을 검증하기 위한 하이브의 사용자 정의 UDF 구현 = 208
 하이브의 맵／리듀스 연산과 파이썬을 사용해 비폭력의 최장 기간 표시 = 214
 피그를 사용해 Audioscrobbler 데이터셋에서 가수들의 코사인 유사도 연산 = 220
 피그와 datafu 라이브러리를 사용해 Audioscrobbler 데이터셋에서 아웃라이어 제거 = 224
7장 고급 빅 데이터 분석 = 227
 개요 = 227
 아파치 지라프를 이용한 페이지랭크 = 228
 아파치 지라프를 이용한 단일 소스 최단 경로 구하기 = 231
 분산된 너비 우선 탐색을 수행하기 위한 아파치 지라프 사용 = 244
 아파치 머하웃을 이용한 협업 필터링 = 253
 아파치 머하웃을 이용한 클러스터링 = 257
 아파치 머하웃을 이용한 감성 분류 = 261
8장 디버깅 = 265
 개요 = 265
 리듀스 잡에서 잘못된 레코드 추적을 위한 카운터 사용 = 266
 MRUnit을 이용한 맵리듀스 잡의 개발과 테스트 = 269
 로컬 모드에서 실행되는 맵리듀스 잡의 개발과 테스트 = 272
 잘못된 레코드를 스킵하기 위한 맵리듀스 잡 활성화 = 275
 스트리밍 잡에서의 카운터 사용 = 278
 디버깅 정보를 표시하기 위한 태스크 상태 메시지 업데이트 = 280
 피그 잡을 디버깅하기 위한 illustrate 명령어 사용 = 283
9장 시스템 관리 = 285
 개요 = 285
 의사 분산 모드에서 하둡 시작하기 = 285
 분산 모드에서 하둡 시작하기 = 289
 기존 클러스터에 새 노드 추가 = 293
 안전한 노드 해제 = 296
 네임노드 장애 복구 = 297
 갱글리아를 사용한 클러스터 상태 모니터링 = 300
 맵리듀스 잡 매개변수 튜닝 = 302
10장 아파치 어큐뮬로를 사용한 퍼시스턴스화 = 307
 개요 = 307
 어큐뮬로에서 지리 이벤트 저장을 위한 로우 키 설계 = 308
 지리 이벤트 데이터를 어큐뮬로로 대량으로 가져오기 위한 맵리듀스 사용 = 320
 어큐뮬로에서 지리 이벤트 데이터를 입력하기 위한 사용자 정의 필드 제한 설정 = 330
 정규식 필터링 이터레이터를 사용한 쿼리 결과 제한 = 337
 SumCombiner를 사용해 동일 키의 다른 버전을 위한 사망자 카운트 = 340
 어큐뮬로를 사용한 스캔에서의 셀 수준 보안 강화 = 346
 맵리듀스를 사용한 어큐뮬로에서의 소스 집계 = 352
찾아보기 = 360