Detail View

엔터프라이즈 빅데이터 파이프라인을 만들어 기업의 데이터를 처리하고 싶다면? 기업 내에 검색 엔진을 구축해서 빠르게 자료를 검색하고 싶다면? 방대한 데이터를 잘 가공해서 저장한 후에 멋진 시각화로 인사이트를 얻고 싶다면? 바로 이럴 때 엘라스틱 스택이 정답이다. 실습을 위한 물리적인 컴퓨터나 가상 머신만 준비한다면 나머지는 모두 이 책이 책임져줄 것이다. 이 책에서는 엘라스틱 스택을 사용해 데이터 중심 애플리케이션을 설계하고, 개발하며, 운영하는 과정에서 꼭 알아야 할 필수 지식을 구체적인 사례와 함께 설명한다.

2022 세종도서 학술부문 선정작.
데이터를 처리하는 데 서로 잘 맞지도 않는 오픈소스 기술들을 굳이 동원해야 할까? 제각각인 오픈소스들을 통합하고 운영하느라 지친 개발자와 운영자들을 위한 솔루션! 이제 엘라스틱 스택 기술 하나면 OK!

어느덧 엘라스틱 스택은 검색 엔진을 넘어서 데이터 처리 시스템의 최강자로 자리 잡았다. 이 책에서는 빠르게 변화하는 세상에서 엘라스틱 스택을 지렛대로 삼아 기업의 생존 능력을 극대화하는 방법을 체계적으로 정리한다.

엔터프라이즈 빅데이터 파이프라인을 만들어 기업의 데이터를 처리하고 싶다면? 기업 내에 검색 엔진을 구축해서 빠르게 자료를 검색하고 싶다면? 방대한 데이터를 잘 가공해서 저장한 후에 멋진 시각화로 인사이트를 얻고 싶다면? 여러 서버에서 데이터들을 가져와 하나로 통합한 다음에 추이를 보거나 통계를 내고 싶다면? 바로 이럴 때 엘라스틱 스택이 정답이다. 실습을 위한 물리적인 컴퓨터나 가상 머신만 준비한다면 나머지는 모두 이 책이 책임져줄 것이다.
이 책에서는 엘라스틱 스택을 사용해 데이터 중심 애플리케이션을 설계하고, 개발하며, 운영하는 과정에서 꼭 알아야 할 필수 지식을 구체적인 사례와 함께 설명한다.

| 이 책에서 다루는 내용 |
- 엘라스틱서치, 로그스태시, 비츠, 키바나에 대한 핵심적인 사용 방법 소개
- 엘라스틱 스택의 특성을 제대로 활용하는 방법을 보여주는 구체적인 프로젝트 사례- 운영 과정에서 주의해야 하는 사항을 실무 관점에서 정리

| 이 책의 특징 |
- 엘라스틱 스택에 빠르게 친숙해지고 싶은 누구나 쉽게 따라 할 수 있는 풍부한 예제
- 검색 엔진 활용법뿐만 아니라, 빅데이터 파이프라인을 구성하는 방법
- 엘라스틱 스택의 모니터링은 물론, 수집된 데이터를 다양한 방식으로 시각화하는 방법
- 실제 데이터 수집부터 시각화까지 전체 과정을 엘라스틱 스택의 구성요소만으로 전개
- 한국어 형태소 분석기 적용 사례
- 공공 데이터와 GIS 데이터를 활용한 지도 시각화 사례
- 운영 과정에 필요한 클러스터/샤드 구성과 보안 강화 방법 소개

| 이 책의 대상 독자 |
- 데이터 처리, 검색, 변환, 분석, 시각화 업무를 수행해야 하는 현업 개발자
- 빅데이터의 고가용성, 안정성, 보안을 확보해야 하는 서버 운영자
- 단일 오픈소스 기술로 빅데이터 플랫폼을 설계하거나 도입하기 원하는 아키텍트
- 엘라스틱 스택 기술: 엘라스틱 서치, 로그스태시, 비츠, 키바나에 관심 있는 개발자나 운영자

| 이 책의 구성 |
1부 '엘라스틱 스택 개요'에서는 엘라스틱 스택의 역사, 용도, 구성요소를 알아보고 엘라스틱서치와 키바나 설치 방법을 알아본다.
1장 '엘라스틱 스택이란'에서는 엘라스틱의 변천사와 엘라스틱 스택의 구성요소, 엘라스틱 스택을 활용한 전문 검색 서비스, 로그 모니터링 같은 서비스 활용 방법과 빅데이터 플랫폼에서 엘라스틱 스택의 위상과 역할을 알아본다. 그리고 엘라스틱 스택과 여타 솔루션들의 차이점을 알아볼 것이다.
2장 '윈도우 실습 환경 구성'에서는 윈도우 환경에서 엘라스틱서치와 키바나 7.10.1 버전을 설치하는 방법을 알아본다.
2부 '엘라스틱 스택 구성요소'에서는 엘라스틱 스택의 구성요소인 엘라스틱서치, 키바나, 로그스태시, 비츠를 자세히 알아본다.
3장 '엘라스틱서치 기본'에서는 엘라스틱서치 인덱스, 도큐먼트를 알아보고 도큐먼트 CRUD와 인덱스 구조를 이해한다. 또한 매핑, 인덱스 템플릿, 분석기 등을 배우면서 엘라스틱서치에 도큐먼트를 저장하는 방법을 배운다.
4장 '엘라스틱서치: 검색'에서는 인덱스 쿼리에서 사용하는 BM25 알고리즘을 알아보고 전문 쿼리와 용어 수준의 쿼리의 차이점과 대표적인 쿼리들을 직접 실행하면서 검색 방법을 알아본다.
5장 '엘라스틱서치: 집계'에서는 통계 정보를 얻는 메트릭 집계, 도큐먼트를 나누는 버킷 집계, 여러 집계를 사용하는 파이프라인 집계를 배운다.
6장 '로그스태시'에서는 로그스태시와 JDK 설치 방법을 알아보고 파이프라인 작성법과 플러그인 사용법 등을 배운다. 또한 로그스태시 모니터링도 알아본다.
7장 '비츠'에서는 비츠 설치 방법과 파일비트를 이용해 비츠를 설치하고 실행하는 일련의 과정을 배운다. 또한 모듈을 이용하여 쉽게 비츠를 설정하는 방법과 모니터링까지 알아본다.
8장 '키바나'에서는 시각화 메뉴들 중 디스커버, 시각화, 대시보드, 캔버스, 맵스의 사용법을 알아본다.
3부 '엘라스틱 스택 실전 활용'에서는 1부와 2부에서 배운 내용을 바탕으로 엘라스틱 스택으로 구현할 수 있는 몇 가지 프로젝트를 진행한다.
9장 '캐글 CSV 파일을 활용한 인덱스 작성'에서는 캐글에서 다운로드한 CSV 영화 파일을 엘라스틱 스택에 올린 다음 데이터를 분석해본다. 이 과정에서 로그스태시 루비 필터 등을 이용해 데이터를 정제하고, 매핑과 인덱스 템플릿을 이용해 인덱스를 생성한다.
10장 '로그스태시를 활용한 한글 트위터 데이터 분석'에서는 로그스태시 트위터 플러그인을 이용하여 소셜 데이터를 입수하는 방법을 배우고, 노리Nori 분석기로 한글 데이터를 분석하는 방법을 배운다. 인덱스를 다시 설계하는 방법과 키바나에서 실시간 데이터를 시각화하는 방법을 다룬다.
11장 '파이썬 클라이언트를 활용한 공공데이터 분석'에서는 파이썬을 이용한 엘라스틱서치 클라이언트 앱 개발 방법을 다룬다. 이 과정에서 공공 API를 사용하는 방법과 QGIS를 이용해 지도에서 활용할 수 있는 벡터 레이어를 만들고 시각화하는 방법을 배운다.
4부 '엘라스틱 운영'에서는 리눅스 환경에서 엘라스틱 스택 설치 방법과 클러스터의 기본이 되는 노드, 샤드, 인덱스와 그 설정에 대해 익힌다. 또한 실제 3대의 노드로 클러스터 구성까지 실습해본다.
12장 '리눅스 실습 환경 구성'에서는 리눅스 환경에서 엘라스틱서치와 키바나 7.10.1 버전을 설치하는 방법을 알아본다.
13장 '클러스터와 노드 구성'에서는 노드의 역할을 설명하고 클러스터 구성 가이드를 제공한다. 또한 핫/웜 구성 방법과 백업 방법을 알아보고 샤드와 샤드 최적화를 알아본다. 마지막으로 노드와 클러스터를 설정하는 방법을 배운다.
14장 '운영 클러스터 구축'에서는 운영을 위한 하드웨어 선정 가이드와 클러스터 구성 방법을 배우고 보안 기능을 활성화하는 방법을 익힌다. 마지막으로 운영에 필요한 사용자 역할을 구분하는 방법을 살펴본다.

| 이 책을 활용하기 위한 개발 환경 |
● 엘라스틱서치 7.10.1
● 키바나 7.10.1
● 로그스태시 7.10.1
● 파일비트 7.10.1
● 윈도우 10(2부, 3부에서 활용)
● 리눅스 우분투 18.04(4부에서 활용)
● JDK 8
● 파이썬 3.8

Information Provided By: :

1부 | 엘라스틱 스택 개요
1장 엘라스틱 스택이란
__1.1 엘라스틱서치의 탄생
__1.2 엘라스틱 스택으로 발전
__1.3 엘라스틱 스택의 구성요소
____1.3.1 엘라스틱서치: 분산 검색 엔진
____1.3.2 키바나: 시각화와 엘라스틱서치 관리 도구
____1.3.3 로그스태시: 이벤트 수집과 정제를 위한 도구
____1.3.4 비츠: 엣지단에서 동작하는 경량 수집 도구
____1.3.5 기타 솔루션
__1.4 엘라스틱 스택의 용도
____1.4.1 전문 검색 엔진
____1.4.2 로그 통합 분석
____1.4.3 보안 이벤트 분석
____1.4.4 애플리케이션 성능 분석
____1.4.5 머신러닝
__1.5 빅데이터 플랫폼의 일부로 동작하는 엘라스틱 스택
____1.5.1 엔터프라이즈 데이터 버스인 카프카와 연동
____1.5.2 하둡 생태계와 연동
____1.5.3 관계형 데이터베이스와 연동
__1.6 유사 제품과의 비교
____1.6.1 엘라스틱서치의 유사 제품군
____1.6.2 로그스태시/비츠의 유사 제품군
____1.6.3 키바나의 유사 제품군
____1.6.4 엘라스틱 스택의 유사 제품군
__1.7 체계적인 문서화와 활발한 공동체 지원
__1.8 정리

2장 윈도우 실습 환경 구성
__2.1 설치 준비
__2.2 엘라스틱서치 설치
____2.2.1 엘라스틱서치 다운로드
____2.2.2 엘라스틱서치 실행
__2.3 키바나 설치
____2.3.1 키바나 다운로드
____2.3.2 키바나 실행
__2.4 엘라스틱 스택 라이선스 확인
__2.5 특정 버전 다운로드
__2.6 정리

2부 | 엘라스틱 스택 구성요소
3장 엘라스틱서치 기본
__3.1 준비 작업
____3.1.1 엘라스틱서치 요청과 응답
____3.1.2 키바나 콘솔 사용법
____3.1.3 시스템 상태 확인
____3.1.4 샘플 데이터 불러오기
__3.2 인덱스와 도큐먼트
____3.2.1 도큐먼트
____3.2.2 인덱스
__3.3 도큐먼트 CRUD
____3.3.1 인덱스 생성/확인/삭제
____3.3.2 도큐먼트 생성
____3.3.3 도큐먼트 읽기
____3.3.4 도큐먼트 수정
____3.3.5 도큐먼트 삭제
__3.4 응답 메시지
__3.5 벌크 데이터
__3.6 매핑
____3.6.1 다이내믹 매핑
____3.6.2 명시적 매핑
____3.6.3 매핑 타입
____3.6.4 멀티 필드를 활용한 문자열 처리
__3.7 인덱스 템플릿
____3.7.1 템플릿 확인
____3.7.2 템플릿 설정
____3.7.3 템플릿 우선순위
____3.7.4 다이내믹 템플릿
__3.8 분석기
____3.8.1 분석기 구성
____3.8.2 토크나이저
____3.8.3 필터
____3.8.4 커스텀 분석기
__3.9 정리

4장 엘라스틱서치: 검색
__4.1 쿼리 컨텍스트와 필터 컨텍스트
__4.2 쿼리 스트링과 쿼리 DSL
____4.2.1 쿼리 스트링
____4.2.2 쿼리 DSL
__4.3 유사도 스코어
____4.3.1 스코어 알고리즘(BM25) 이해하기
____4.3.2 IDF 계산
____4.3.3 TF 계산
__4.4 쿼리
____4.4.1 전문 쿼리와 용어 수준 쿼리
____4.4.2 매치 쿼리
____4.4.3 매치 프레이즈 쿼리
____4.4.4 용어 쿼리
____4.4.5 용어들 쿼리
____4.4.6 멀티 매치 쿼리
____4.4.7 범위 쿼리
____4.4.8 논리 쿼리
____4.4.9 패턴 검색
__4.5 정리

5장 엘라스틱서치: 집계
__5.1 집계의 요청-응답 형태
__5.2 메트릭 집계
____5.2.1 평균값/중간값 구하기
____5.2.2 필드의 유니크한 값 개수 확인하기
____5.2.3 검색 결과 내에서의 집계
__5.3 버킷 집계
____5.3.1 히스토그램 집계
____5.3.2 범위 집계
____5.3.3 용어 집계
__5.4 집계의 조합
____5.4.1 버킷 집계와 메트릭 집계
____5.4.2 서브 버킷 집계
__5.5 파이프라인 집계
____5.5.1 부모 집계
____5.5.2 형제 집계
__5.6 정리

6장 로그스태시
__6.1 로그스태시 소개
____6.1.1 로그스태시 특징
__6.2 로그스태시 설치
____6.2.1 JDK 설치
____6.2.2 로그스태시 다운로드
____6.2.3 로그스태시 실행
__6.3 파이프라인
____6.3.1 입력
____6.3.2 필터
____6.3.3 출력
____6.3.4 코덱
__6.4 다중 파이프라인
____6.4.1 다중 파이프라인 작성
__6.5 모니터링
____6.5.1 API를 활용하는 방법
____6.5.2 모니터링 기능 활성화
__6.6 정리

7장 비츠
__7.1 비츠 소개
__7.2 비츠 설치
__7.3 파일비트
____7.3.1 파일비트 아키텍처
____7.3.2 파일비트 다운로드
____7.3.3 파일비트 실행
____7.3.4 파일비트 설정
____7.3.5 모듈
__7.4 모니터링
__7.5 그 밖의 비츠 사용하기
__7.6 정리

8장 키바나
__8.1 키바나 소개
____8.1.1 인덱스 패턴
__8.2 디스커버
____8.2.1 쿼리바, 필터바, 타임피커
__8.3 시각화
____8.3.1 막대 그래프
____8.3.2 히트맵
____8.3.3 TSVB(Time Series Visual Builder)
__8.4 대시보드
____8.4.1 대시보드 만들기
__8.5 캔버스
____8.5.1 엘라스틱서치 SQL
__8.6 맵스
____8.6.1 윈도우 웹 서버 구축
____8.6.2 사용자 지정 타일맵과 GeoJSON 적용
____8.6.3 클러스터와 그리드
____8.6.4 GeoJSON 적용하기
____8.6.5 타일맵 서비스
__8.7 정리

3부 | 엘라스틱 스택 실전 활용
9장 캐글 CSV 파일을 활용한 인덱스 작성
__9.1 실습 진행 방식
__9.2 실습 준비 작업
__9.3 CSV 파일 가져오기
__9.4 키바나 데이터 비주얼라이저를 이용한 파일 가져오기
____9.4.1 데이터 Discover
__9.5 로그스태시를 이용한 파일 가져오기
____9.5.1 CSV 파일 읽기
____9.5.2 날짜/시간 타입으로 파싱
____9.5.3 루비 필터를 이용한 파싱
__9.6 인덱스 매핑
____9.6.1 인덱스 매핑을 적용하여 로그스태시 데이터 저장
____9.6.2 템플릿을 적용하여 로그스태시 데이터 저장
__9.7 키바나에서 간단히 분석해보기
____9.7.1 지난 10년 동안 어떤 영화 장르가 가장 많이 만들어졌는가?
____9.7.2 할리우드 영화 중 평점 높은 영화는 수익이 났을까? 예산은 얼마나 썼을까?
__9.8 정리

10장 로그스태시를 활용한 한글 트위터 데이터 분석
__10.1 실습 진행 방식
__10.2 실습 준비 작업
____10.2.1 트위터 개발자 정보
__10.3 로그스태시 수행
__10.4 검색과 한글 형태소 분석기
__10.5 리인덱싱
__10.6 실시간 데이터 시각화
__10.7 정리

11장 파이썬 클라이언트를 활용한 공공데이터 분석
__11.1 실습 진행 방식
__11.2 실습 준비 작업
____11.2.1 서울 열린데이터 인증키 발급받기
____11.2.2 파이썬 3.8 설치
____11.2.3 QGIS 설치
____11.2.4 맵 시각화 타입 추가
__11.3 서울 행정동별 인구 분석하기
____11.3.1 로그스태시로 공공데이터 가져오기
____11.3.2 QGIS 이용한 사용자 벡터 레이어 생성
____11.3.3 서울에서 일인 가구가 많은 지역은 어디일까?
____11.3.4 서울에서 외국인이 많은 곳은 어디일까?
__11.4 서울 공공와이파이 지도 만들기
____11.4.1 오픈 API를 이용한 공공데이터 가져오기
____11.4.2 파이썬을 이용한 오픈 API 실행
____11.4.3 파이썬 엘라스틱서치 클라이언트
____11.4.4 파이썬 클라이언트 앱
____11.4.5 bulk API를 이용한 인덱스
____11.4.6 서울시 공공와이파이 위치 시각화하기
__11.5 정리

4부 | 엘라스틱 운영
12장 리눅스 실습 환경 구성
__12.1 버추얼박스에서 우분투 설치하기
__12.2 엘라스틱서치 설치
____12.2.1 wget을 이용한 설치
____12.2.2 리눅스 패키지 매니저를 이용한 설치
__12.3 키바나 설치
____12.3.1 wget을 이용한 설치
____12.3.2 리눅스 패키지 매니저를 이용한 설치
__12.4 정리

13장 클러스터와 노드 구성
__13.1 HTTP 계층과 전송 계층
__13.2 노드
____13.2.1 마스터 노드
____13.2.2 데이터 노드
____13.2.3 인제스트 노드
____13.2.4 그 밖의 노드들
____13.2.5 전용 노드
__13.3 노드 구성과 시스템 구성
____13.3.1 소규모 클러스터
____13.3.2 대규모 클러스터
____13.3.3 핫/웜/콜드 노드 구성
__13.4 클러스터 백업
____13.4.1 리포지토리 등록
____13.4.2 스냅샷 찍기
____13.4.3 스냅샷 복원
__13.5 샤드
____13.5.1 프라이머리 샤드와 레플리카 샤드
____13.5.2 샤드 할당 과정
____13.5.3 샤드 상태 모니터링
__13.6 샤드 개수와 크기 구성 가이드
____13.6.1 샤드 개수 가이드
____13.6.2 샤드 크기 가이드
__13.7 설정
____13.7.1 클러스터 설정
____13.7.2 노드 설정
____13.7.3 인덱스 설정
__13.8 정리

14장 운영 클러스터 구축
__14.1 성능과 안정성을 위한 운영 클러스터 고려사항
____14.1.1 노드 구성 계획
____14.1.2 하드웨어 선정
____14.1.3 엘라스틱서치 버전 선정
__14.2 클러스터 구성
____14.2.1 노드 설치
____14.2.2 개발 모드와 운영 모드
____14.2.3 운영 모드 설정
____14.2.4 실행과 구성 확인
__14.3 보안 기능 설정
____14.3.1 인증서 생성
____14.3.2 노드 간 통신 암호화
____14.3.3 HTTP 클라이언트 통신 암호화
____14.3.4 클러스터 시작과 빌트인 사용자 설정
____14.3.5 키바나와 엘라스틱서치 간 통신 암호화
____14.3.6 키바나와 브라우저 간 통신 암호화
__14.4 사용자 등록과 관리
____14.4.1 사용자 역할 정의
____14.4.2 사용자 추가와 역할 할당
__14.5 정리