HOME > 상세정보

상세정보

(실무로 배우는) 빅데이터기술 : 데이터 수집, 적재, 처리, 분석, 머신러닝까지 (12회 대출)

자료유형
단행본
개인저자
김강원
서명 / 저자사항
(실무로 배우는) 빅데이터기술 : 데이터 수집, 적재, 처리, 분석, 머신러닝까지 / 김강원 지음
발행사항
파주 :   위키북스,   2017  
형태사항
xv, 350 p. : 삽화, 도표 ; 24 cm
총서사항
데이터베이스 & 빅데이터 시리즈 = d & b ; 016
ISBN
9791158390563
일반주기
색인수록  
000 00000cam c2200205 c 4500
001 000045905775
005 20170517155649
007 ta
008 170517s2017 ggkad 001c kor
020 ▼a 9791158390563 ▼g 93000
035 ▼a (KERIS)BIB000014397131
040 ▼a 222001 ▼c 222001 ▼d 211009
082 0 4 ▼a 006.312 ▼2 23
085 ▼a 006.312 ▼2 DDCK
090 ▼a 006.312 ▼b 2017z1
100 1 ▼a 김강원
245 2 0 ▼a (실무로 배우는) 빅데이터기술 : ▼b 데이터 수집, 적재, 처리, 분석, 머신러닝까지 / ▼d 김강원 지음
260 ▼a 파주 : ▼b 위키북스, ▼c 2017
300 ▼a xv, 350 p. : ▼b 삽화, 도표 ; ▼c 24 cm
440 0 0 ▼a 데이터베이스 & 빅데이터 시리즈 = ▼x d & b ; ▼v 016
500 ▼a 색인수록
945 ▼a KLPA
949 ▼a 데이터베이스 and 빅데이터 시리즈 ; ▼v 016

소장정보

No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.312 2017z1 등록번호 121240261 도서상태 대출가능 반납예정일 예약 서비스 B M

컨텐츠정보

책소개

스마트카 빅데이터 파일럿 프로젝트를 단계별로 진행하면서 빅데이터의 수집/적재, 처리/탐색, 분석/응용 영역의 아키텍처와 활용 기술들을 다루고 있다. 전문 개발자가 아니어도 약간의 소프트웨어 지식만으로 빅데이터의 A~Z까지 기술들을 구현하고 경험해 볼 수 있는 파일럿 프로젝트 형식으로 구성했다.

빅데이터 시스템 구축에 필요한 실무 요건들을 도출하고 이를 해결하기 위한 빅데이터의 수집, 적재, 처리, 분석 아키텍처와 10여 개의 핵심 기술 요소들을 설명하는 방식으로 독자들이 빅데이터를 더욱 쉽게 이해할 수 있게 돕는다..

스마트카 프로젝트로 배워보는 빅데이터 프로젝트의 AtoZ

스마트카 빅데이터 파일럿 프로젝트를 단계별로 진행하면서 빅데이터의 수집/적재, 처리/탐색, 분석/응용 영역의 아키텍처와 활용 기술들을 다루고 있다. 전문 개발자가 아니어도 약간의 소프트웨어 지식만으로 빅데이터의 A~Z까지 기술들을 구현하고 경험해 볼 수 있는 파일럿 프로젝트 형식으로 구성했다.
빅데이터 시스템 구축에 필요한 실무 요건들을 도출하고 이를 해결하기 위한 빅데이터의 수집, 적재, 처리, 분석 아키텍처와 10여 개의 핵심 기술 요소들을 설명하는 방식으로 독자들이 빅데이터를 더욱 쉽게 이해할 수 있게 돕는다..

★ 이 책에서 다루는 내용 ★

◎ 플럼, 카프카를 이용한 스마트카 상태 정보와 운행정보 수집
◎ 스톰, 에스퍼, 하둡, HBase, 레디스로 대용량 파일과 실시간 데이터 적재
◎ 하이브, 스파크 애드혹 쿼리로 데이터를 선택, 변환, 통합, 축소
◎ 휴, 우지를 통한 빅데이타 마트 구축
◎ 임팔라, 제플린으로 고성능 인메모리 분석을 수행하고 결과를 시각화
◎ 머하웃으로 추천, 분류, 군집 등의 고급 분석
◎ 스쿱을 빅데이터 분석 결과를 다른 응용 시스템의 RDBMS에 익스포트


정보제공 : Aladin

저자소개

김강원(지은이)

2017년 현재 KT DS의 금융사업TF 소속으로, 대한민국의 1호 인터넷전문은행인 K뱅크에서 빅데이터 프로젝트 총괄 리더 역할을 수행했다. 2000년 중반부터 대용량 데이터 인터페이스 프로젝트를 수행하면서 클라우드 컴퓨팅과 빅데이터 기술에 관심을 갖게 됐고, 현대증권 HTS, 현대중공업 EAI, 삼성 S-클라우드와 KT 오픈플랫폼, KT 빅데이터 분석 플랫폼 등의 프로젝트에 참여했다. 2013년부터는 KT DS의 소프트웨어 기술연구소에서 다양한 오픈소스와 하둡 에코시스템을 연구하기 시작했고, 2014년엔 전사 빅데이터 TF를 리딩하며 빅데이터 버티컬 솔루션인 빅펜스 1.0을 개발해 릴리즈했다.

정보제공 : Aladin

목차

▣ 01장: 빅데이터 이해하기	
1.1 빅데이터의 개념	
1.2 빅데이터 시장	
1.3 빅데이터 기술의 변화	
1.4 빅데이터 구현 기술	
__수집 기술	
__적재 기술	
__처리/탐색 기술	
__분석/응용 기술	
1.5 마치며	

▣ 02장: 빅데이터 파일럿 프로젝트	
2.1 파일럿 프로젝트 도메인의 이해	
__요구사항 파악	
__데이터셋 살펴보기	
2.2 빅데이터 파일럿 아키텍처 이해	
__소프트웨어 아키텍처	
__하드웨어 아키텍처	
__구축 환경 이해	
2.3 빅데이터 파일럿 프로젝트용 PC 환경 구성	
__자바 설치	
__이클립스 설치	
__오라클 버추얼 박스 설치	
__기타 개발환경 구성	
__리눅스 가상 머신 환경 구성	
2.4 빅데이터 파일럿 서버 구성	
__CentOS 설치	
__CentOS 환경 구성	
__가상 머신 복제	
2.5 클라우데라 매니저 설치	
__빅데이터 기본 소프트웨어 설치 - 하둡, 주키퍼 등 기본 구성	
__DataNode 추가 및 환경 설정	
__HDFS 명령을 이용한 설치 확인	
__주키퍼 클라이언트 명령을 이용한 설치 확인	
2.6 스마트카 로그 시뮬레이터 설치	
2.7 파일럿 환경 관리	
2.8 마치며 

▣ 03장: 빅데이터 수집	
3.1 빅데이터 수집 개요	
3.2 빅데이터 수집에 활용할 기술	
__플럼	
__카프카	
3.3 수집 파일럿 실행 1단계 - 수집 아키텍처	
__수집 아키텍처	
3.4 수집 파일럿 실행 2단계 - 수집 환경 구성	
__플럼 설치	
__카프카 설치	
3.5 수집 파일럿 실행 3단계- 플럼 수집 기능 구현	
__SmartCar 에이전트 생성	
__SmartCar 에이전트에 Interceptor 추가	
__DriverCarInfo 에이전트 생성	
3.6 수집 파일럿 실행 4단계 - 카프카 기능 구현	
__카프카 Topic 생성	
__카프카 Producer 사용	
__카프카 Consumer 사용	
3.7 수집 파일럿 실행 5단계 - 수집 기능 테스트	
__SmartCar 로그 시뮬레이터 작동	
__플럼 에이전트 작동	
__카프카 Consumer 작동	
__수집 기능 점검	
3.8 마치며	

▣ 04장: 빅데이터 적재 I - 대용량 로그 파일 적재	
4.1 빅데이터 적재 개요	
4.2 빅데이터 적재에 활용하는 기술	
__하둡	
__하둡 아키텍처	
__하둡 활용 방안	
__주키퍼	
__주키퍼 아키텍처	
__주키퍼 활용 방안	
4.3 적재 파일럿 실행 1단계 - 적재 아키텍처	
__적재 요구사항	
__적재 아키텍처	
4.4 적재 파일럿 실행 2단계 - 적재 환경 구성	
__하둡 설치	
4.5 적재 파일럿 실행 3단계 - 적재 기능 구현	
__SmartCar 에이전트 수정	
4.6 적재 파일럿 실행 4단계 - 적재 기능 테스트	
__플럼의 사용자 정의 Interceptor 추가	
__플럼의 Conf 파일 수정	
__SmartCar 로그 시뮬레이터 작동	
__플럼 이벤트 작동	
__HDFS 명령어 확인	
4.7 마치며 

▣ 05장: 빅데이터 적재 II - 실시간 로그/분석 적재	
5.1 빅데이터 실시간 적재 개요	
5.2 빅데이터 실시간 적재에 활용하는 기술	
__HBase 
__레디스	
__스톰	
__에스퍼	
5.3 실시간 적재 파일럿 실행 1단계 - 실시간 적재 아키텍처	
__실시간 적재 요구사항	
__실시간 적재 아키텍처	
5.4 실시간 적재 파일럿 실행 2단계 - 실시간 적재 환경 구성	
__HBase 설치	
__레디스 설치	
__스톰 설치	
5.5 실시간 적재 파일럿 실행 3단계 - 실시간 적재 기능 구현	
__카프카 Spout 기능 구현	
__Split Bolt 기능 구현	
__HBase Bolt 기능 구현	
__에스퍼 Bolt 기능 구현	
__레디스 Bolt 기능 구현	
__레디스 클라이언트 애플리케이션 구현	
__HBase 테이블 생성	
__스톰 Topology 배포	
5.6 실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트	
__로그 시뮬레이터 작동	
__HBase에 적재 데이터 확인	
__레디스에 적재된 데이터 확인	
__레디스 클라이언트 애플리케이션 작동	
__실시간 개발 환경 구성	
5.7 마치며	

▣ 06장: 빅데이터 탐색	
6.1 빅데이터 탐색 개요	
6.2 빅데이터 탐색에 활용되는 기술	
__하이브	
__스파크	
__우지	
__휴(Hue)	
6.3 탐색 파일럿 실행 1단계 - 탐색 아키텍처	
__탐색 요구사항	
__탐색 아키텍처	
6.4 탐색 파일럿 실행 2단계 - 탐색 환경 구성	
__하이브 설치	
__우지 설치	
__휴 설치	
__스파크 설치	
__탐색 환경의 구성 및 설치 완료	
6.5 탐색 파일럿 실행 3단계 - 휴를 이용한 데이터 탐색	
__HDFS에 적재된 데이터 확인	
__HBase에 적재된 데이터 확인	
__하이브를 이용한 External 데이터 탐색	
__하이브를 이용한 HBase 데이터 탐색	
__데이터셋 추가	
__스파크를 이용한 추가 데이터셋 탐색	
6.6 탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트	
__주제 영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성	
__주제 영역 2. 스마트카 운전자 운행 기록 정보 - 워크플로 작성	
__주제 영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성	
__주제 영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성	
__주제 영역 5. 스마트카 운전자 차량용품 구매 이력 정보 - 워크플로 작성	
6.7 마치며	

▣ 07장: 빅데이터 분석	
7.1 빅데이터 분석 개요	
7.2 빅데이터 분석에 활용 기술	
__임팔라	
__제플린	
__머하웃	
__머하웃 아키텍처	
__스쿱	
7.3 분석 파일럿 실행 1단계 - 분석 아키텍처	
__분석 요구사항	
__분석 아키텍처	
7.4 분석 파일럿 실행 2단계 - 분석 환경 구성	
__임팔라 설치	
__스쿱 설치	
__제플린 설치	
__머하웃 설치	
7.5 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석	
__하이브 QL를 임팔라에서 실행하기	
__임팔라를 이용한 운행 지역 분석	
7.6 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석	
__제플린을 이용한 운행 지역 분석	
7.7 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝	
__머하웃 추천 - 스마트카 차량용품 추천	
__머하웃 분류 - 스마트카 상태 정보 예측	
__머하웃 군집 - 스마트카 고객 정보 분석	
7.8 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공	
__스쿱의 내보내기 기능 - 이상 운전 차량 정보	
7.9 마치며

관련분야 신착자료

Baumer, Benjamin (2021)
Harrison, Matt (2021)
데이터분석과인공지능활용편찬위원회 (2021)