HOME > Detail View

Detail View

데이터 분석 플랫폼 구축과 활용 : Fluentd, Elasticsearch, Kibana를 사용한 로그 수집과 시각화 (Loan 1 times)

Material type
단행본
Personal Author
鈴木健太, 저 吉田健太郎, 저 大谷純, 저 道井俊介, 저 하진일, 역
Title Statement
데이터 분석 플랫폼 구축과 활용 : Fluentd, Elasticsearch, Kibana를 사용한 로그 수집과 시각화 / 스즈키 켄타 [외]지음 ; 하진일 옮김
Publication, Distribution, etc
서울 :   터닝포인트,   2018  
Physical Medium
432 p. : 삽화 ; 25 cm
Varied Title
デ-タ分析基盤構築入門 : Fluentd, Elasticsearch, Kibanaによるログ収集と可視化
ISBN
9791161340302
General Note
It's my turning point ; 서비스의 디자인은 로그의 디자인부터  
색인수록  
부록: A. Fluentd 플러그인 사전, B. Embulk & Digdag 입문, C. Embulk 플러그인 사전 외  
공저자: 요시다 켄타로, 오타니 준, 미치이 슌스케  
감수: 조인석  
000 00000nam c2200205 c 4500
001 000045956000
005 20181002152301
007 ta
008 181002s2018 ulka 001c kor
020 ▼a 9791161340302 ▼g 13000
040 ▼a 211009 ▼c 211009 ▼d 211009
041 1 ▼a kor ▼h jpn
082 0 4 ▼a 004.36 ▼2 23
085 ▼a 004.36 ▼2 DDCK
090 ▼a 004.36 ▼b 2018
245 0 0 ▼a 데이터 분석 플랫폼 구축과 활용 : ▼b Fluentd, Elasticsearch, Kibana를 사용한 로그 수집과 시각화 / ▼d 스즈키 켄타 [외]지음 ; ▼e 하진일 옮김
246 1 9 ▼a デ-タ分析基盤構築入門 : ▼b Fluentd, Elasticsearch, Kibanaによるログ収集と可視化
246 3 ▼a Dēta bunseki kiban kōchiku nyūmon : ▼b furuentodī erasutikku sāchi kibana ni yoru rogu shūshū to kashika
260 ▼a 서울 : ▼b 터닝포인트, ▼c 2018
300 ▼a 432 p. : ▼b 삽화 ; ▼c 25 cm
500 ▼a It's my turning point ; 서비스의 디자인은 로그의 디자인부터
500 ▼a 색인수록
500 ▼a 부록: A. Fluentd 플러그인 사전, B. Embulk & Digdag 입문, C. Embulk 플러그인 사전 외
500 ▼a 공저자: 요시다 켄타로, 오타니 준, 미치이 슌스케
500 ▼a 감수: 조인석
700 1 ▼a 鈴木健太, ▼e
700 1 ▼a 吉田健太郎, ▼e
700 1 ▼a 大谷純, ▼e
700 1 ▼a 道井俊介, ▼e
700 1 ▼a 하진일, ▼e
900 1 0 ▼a 鈴木健太, ▼e
900 1 0 ▼a 스즈키 켄타, ▼e
900 1 0 ▼a Suzuki, Kenta, ▼e
900 1 0 ▼a 요시다 켄타로, ▼e
900 1 0 ▼a Yoshida, Kentarō, ▼e
900 1 0 ▼a 오타니 준, ▼e
900 1 0 ▼a Ōtani, Jun, ▼e
900 1 0 ▼a 미치이 슌스케, ▼e
900 1 0 ▼a Michii, Shunsuke, ▼e
945 ▼a KLPA

No. Location Call Number Accession No. Availability Due Date Make a Reservation Service
No. 1 Location Science & Engineering Library/Sci-Info(Stacks1)/ Call Number 004.36 2018 Accession No. 121246120 Availability Available Due Date Make a Reservation Service B M
No. 2 Location Sejong Academic Information Center/Science & Technology/ Call Number 004.36 2018 Accession No. 151343922 Availability Available Due Date Make a Reservation Service
No. Location Call Number Accession No. Availability Due Date Make a Reservation Service
No. 1 Location Science & Engineering Library/Sci-Info(Stacks1)/ Call Number 004.36 2018 Accession No. 121246120 Availability Available Due Date Make a Reservation Service B M
No. Location Call Number Accession No. Availability Due Date Make a Reservation Service
No. 1 Location Sejong Academic Information Center/Science & Technology/ Call Number 004.36 2018 Accession No. 151343922 Availability Available Due Date Make a Reservation Service

Contents information

Book Introduction

플루언트디, 엘라스틱서치, 키바나를 이용한 로그 수집과 시각화에 대해 설명한다. 1 파트에서는 로그를 분석하는 배경과 실제로 로그를 활용해서 시각화 및 분석까지의 흐름을 설명하며, 2 파트에서는 로그를 활용하기 위한 미들웨어 Fluentd에 대해서 설명한다. Fluentd를 활용하기 위한 팁도 다수 포함되어 있다.

3 파트에서는 Elasticsearch에 대해서 설명한다. Elasticsearch는 검색엔진이지만 최근에는 로그를 저장하는 미들웨어로 활용되고 있다. 4 파트 에서는 Kibana라는 로그 시각화 도구에 대해서 알려주며, Kibana는 Elasticsearch의 프론트엔드 애플리케이션으로 구축된 도구로 로그를 시각화하기 위해 유용한 기능을 제공한다.

플루언트디, 엘라스틱서치, 키바나를 이용한 로그 수집과 시각화
이 책은 다음과 같은 궁금증을 해결하는데 최상의 선택이 될 수 있습니다.

- 로그가 대량으로 남고 있고, 일단 이용하고 싶다.
- 로그를 해석한 결과를 어디에 활용할 수 있는 지 찾고 싶다.
- Fluentd, Elasticsearch, Kibana를 일단 도입하려고 한다.
- Elasitcsearch 클러스터의 관리방법에 대해서 알고 싶다.
- Kibana를 도입했지만, 어떻게 활용해야할 지 모르겠다.
- Fluentd, Elasticsearch, Kibana를 활용한 사례를 알고 싶다.

먼저 로그 분석이란 무엇인가부터 해서, 어떤 전제로 활용할 수 있는가 그리고 실제로 분석 기반을 만들어서 어떻게 구축하면 좋을까? 각 미들웨어는 어떻게 설정하고, 어떻게 운용하면 좋을까 그리고 어떻게 활용하면 좋을까?

책의 구성

1 파트(1장~4장)에서는 로그를 분석하는 배경과 실제로 로그를 활용해서 시각화 및 분석까지의 흐름을 설명합니다. 로그를 어떻게 활용할 것인지 고민 중인 독자에게 참고가 될 것입니다.

2 파트(5장~8장)에서는 로그를 활용하기 위한 미들웨어 Fluentd에 대해서 설명합니다. Fluentd를 활용하기 위한 팁도 다수 포함되어 있습니다.

3 파트(9장~14장)에서는 Elasticsearch에 대해서 설명합니다. Elasticsearch는 검색엔진이지만 최근에는 로그를 저장하는 미들웨어로 활용되고 있습니다.

4 파트(15장~20장)에서는 Kibana라는 로그 시각화 도구에 대해서 설명합니다. Kibana는 Elasticsearch의 프론트엔드 애플리케이션으로 구축된 도구로 로그를 시각화하기 위해 유용한 기능을 제공합니다.

부록에서는 Fluentd 플러그인 사전, Embulk&Digdag 입문, Embulk 플러그인 사전, Kibana의 편리한 기능 등을 수록하였습니다.


Information Provided By: : Aladin

Author Introduction

스즈키 켄타(지은이)

클래식 기타를 좋아하는 소프트웨어 엔지니어로 주식회사 VOYAGE GROUP의 자회사인 fluct 소속으로 근무 중이다. 광고 데이터의 분석 플랫폼의 구축을 시작으로 광고 기술 분야에서 엔지니어로 일하고 있으며 공저로 "모두의 Go 언어"(2016년 기술평론사)가 있으며 이 책의 1 파트 집필을 담당했다.

요시다 켄타로(지은이)

1986년생으로 대학교 1학년 때 주식회사 리브센스를 창업했다. 웹 엔지니어로서 인프라, 애플리케이션, 운영까지 폭넓은 영역에서 활동했으며 2015년부터는 빅데이터를 사용한 기계학습과 지리공간정보로 영역을 확장해서 데이터 엔지니어로 활약 중이다. 취미는 사진과 IoT 디바이스를 활용하여 가전과 에어컨을 자동화하고 쾌적한 작업공간을 추구하는 것이다.

오타니 준(지은이)

Splatoon을 좋아하는 에반젤리스트로 Elastic사에서 근무중이다. Elastic Stack을 일본에 보급하는 업무(컨퍼런스에서 발표하거나, BBL(런치미팅)으로 Stack에 흥미가 있는 회사에 방문하거나, 일본의 유저를 지원하기)를 맡고 있다. 때로는 플러그인 개발도 하고 있으며3 파트와 부록 C의 집필을 담당했다.

미치이 슌스케(지은이)

인프라 엔지니어로. 픽시브 주식회사 ImageFlux 사업책임자, 픽시브테크놀로지 주식회사 임원이다. 쿠루메 공업 고등전문학교, 큐슈 공업대학, 츠쿠바대학, 대학원을 거쳐서 2012년 픽시브에 입사, 대규모 이미지 배포 인프라의 구축과 데이터수집, 분석기반의 도입 등을 진행했다. 2016년에 이미지변환 클라우드 서비스인 ImageFlux 사업을 시작하여 책임자를 맡고 있다. 공저로 "nginx 실천입문"(2016년 기술평론사)이 있으며 책의 4 파트 집필을 담당했다.

하진일(옮긴이)

(antfrog@gmail.com) 2001년 게임 업계에 입문하여 병특업체와 nhn에서 게임 서버 개발과 퍼블리싱 플랫폼 개발을 하였다. 지금은 일본의 게임 개발사에서 Java로 게임 서버를 개발하고 있다. 서버와 플랫폼 개발에 관심이 많으며, “기계가 할 일은 기계에게 시켜야 한다”는 믿음을 가지고 있다. 동경에서 아내와 아들, 딸과 생활하고 있으며 여행을 좋아하는 평범한 개발자이다.

조인석(감수)

17년차 소프트웨어 엔지니어이며, 현대정보기술, 삼성SDS, 두산중공업을 거쳐 현재는 글로벌 오픈 소스 검색엔진 1위 회사인 엘라스틱에서 수석 기술지원 엔지니어로 근무하고 있다. 『파이썬 프로그래밍』(혜지원), 『파이선으로 쉽게 배우는 프로그래밍 입문』(한빛 아카데미)을 집필했고, 『파이썬 핵심 개발자들과의 인터뷰』(터닝포인트)를 번역했다. 파이콘 코리아 2017, 2019의 연사로도 활동하였으며, 직접 경험한 기술 이야기를 여러 엔지니어들과 나누는 것을 즐긴다.

Information Provided By: : Aladin

Table of Contents

part 1 데이터 분석 기반 입문 
chapter 1 데이터 분석 개요 
1-1 데이터 분석 환경을 구성하는 요소 
1-2 데이터 분석 기반의 대상 
1-3 데이터 분석 사례 소개 
1-4 개요 파악 
1-5 수익 구조 파악 
1-6 가설과 검증 
1-7 의사결정을 위한 데이터 분석 
1-8 정리 
chapter 2 로그 데이터의 기초 
2-1 로그란 
2-2 서비스 개선을 위한 로그 
2-3 로그 구성 
2-4 로그를 살리는 디플로이(배포) 
2-5 정리 
chapter 3 데이터 분석 기반 구축 
3-1 이번 장에서 준비하는 환경 
3-2 Elasticsearch 설정 
3-3 Kibana 작동 
3-4 정리 
chapter 4 데이터 분석 기반 운영 
4-1 ETL 
4-2 데이터 분석 시스템 가용성 
4-3 데이터 저장소 비교 
4-4 무엇을 가치로 제공할 것인가 
4-5 엔지니어로부터 데이터의 활용 방법을 공유하자 
4-6 1 파트 정리 

part 2 로그 수집 입문 
chapter 5 로그 수집 미들웨어 소개 
5-1 서비스 개선에 없어서는 안될 로그 수집 
5-2 현대적인 로그 수집이란 
5-3 정리 
chapter 6 처음으로 만나는 Fluentd 
6-1 Fluentd는 어떤 미들웨어인가 
6-2 Fluentd 셋업 
6-3 Fluentd 설정 커스터마이즈 
6-4 플러그인 활용 
6-5 정리 
chapter 7 Fluentd 설계 요령 
7-1 tail 플러그인 철저공략 
7-2 Fluentd 노드 디자인패턴 
7-3 정리 
chapter 8 Fluentd 운영 Tips 
8-1 Fluentd 감시 
8-2 로그 누락을 막기 위한 8가지 포인트 
8-3 소유자가 root 유저인 로그 파일을 Fluentd로 수집하기 
8-4 Fluentd의 스테이징 환경을 만드는 법 
8-5 정리 

part 3 Elasticsearch 입문 
chapter 9 데이터스토어 입문 
9-1 데이터 저장소 요건 
9-2 대표적인 데이터 저장소 
9-3 정리 
chapter 10 Elasticsearch 기초 
10-1 Elasticsearch 특징 
10-2 아키텍처 
10-3 로그 데이터를 저장하는 단위 
10-4 정리 
chapter 11 Elasticsearch 시작 
11-1 준비 
11-2 Elasticsearch 기초 
11-3 설정. 
11-4 인덱스와 데이터의 조작 
11-5 검색 
11-6 매핑 정의 
11-7 정리 
chapter 12 Elasticsearch의 운용 팁 
12-1 튜닝포인트 
12-2 인덱스 수 
12-3 스케일 아웃에 대해서 
12-4 정리 
chapter 13 Curator 
13-1 운용에 편리한 도구 Curator 
13-2 정리 
chapter 14 elasticsearch-hadoop 
14-1 elasticsearch-hadoop 개요 
14-2 접근 방법 
14-3 정리 

part 4 Kibana 입문 
chapter 15 Kibana 특징 
15-1 Kibana에 대해서 
15-2 Kibana 시스템 구성 
15-3 그 외의 시각화, 분석 도구의 비교 
15-4 정리 
chapter 16 Kibana 설치와 설정 
16-1 다운로드와 인스톨 
16-2 초기 설정과 실행 
16-3 Docker를 사용한 구성 
16-4 인덱스 설정 
16-5 정리 
chapter 17 Kibana 분석 워크플로우 
17-1 샘플 서비스 기동 
17-2 케이스 1 : 매트릭 시각화 
17-3 케이스 2 : 글 내용 분석 
17-4 정리 
chapter 18 Discover 탭 검색 
18-1 Discover 탭 
18-2 레코드 검색 
18-3 인덱스와 표시할 필드 선택 
18-4 검색 팁 
18-5 정리 
chapter 19 차트 작성 
19-1 차트 작성. 
19-2 Metrics와 Buckets 
19-3 2차원 차트 설정 
19-4 그 외의 표준 차트 
19-5 데이터 표시 
19-6 그 외의 시각화 방법 
19-7 정리 

chapter 20 대시보드 
20-1 Dashboard 탭 
20-2 대시보드 편집 
20-3 대시보드 공유 
20-4 정리 

부록 
부록 A Fluentd 플러그인 사전 
부록 B Embulk & Digdag 입문 
부록 C Embulk 플러그인 사전 
부록 D Kibana의 편리한 기능과 그 외의 Elastic Stack의 소개

New Arrivals Books in Related Fields

김자미 (2021)