상세정보

에이콘 데이터 과학 시리즈 12권. 조직 내에 빅데이터를 활용하는 의사결정 문화를 뿌리내리고 싶은 사람들에게 테라데이타(Teradata)의 최고분석책임자인 빌 프랭크스(Bill Franks)가 들려주는 빅데이터 입문서.

빅데이터를 다루는 데 필요한 도구와 프로세스, 기법 등 기술적 측면과 빅데이터를 효과적으로 활용하는 데 필요한 사람과 조직구조, 혁신과 발견을 장려하는 조직 문화 등 조직적 측면을 균형 있게 서술한 책이다. 이 책을 통해 빅데이터 활용을 어떻게 시작해야 할지, 어디에 가장 중점을 두어야 할지, 피해야 할 함정이나 조직에서 부닥칠 문제는 무엇인지 등 실무적인 조언을 얻을 수 있다.

빅데이터는 무엇인가, 왜 중요한가, 빅데이터에서 얻을 수 있는 혜택은 무엇인가, 웹 데이터, 센서 데이터, 텍스트 데이터 등 비즈니스를 변화시킬 수 있는 10가지 빅데이터 소스, 빅데이터를 길들이는 데 필요한 기술, 프로세스, 기법 등을 다루고 있다.

★ 요약 ★

조직 내에 빅데이터를 활용하는 의사결정 문화를 뿌리내리고 싶은 사람들에게 테라데이타(Teradata)의 최고분석책임자인 빌 프랭크스(Bill Franks)가 들려주는 빅데이터 입문서. 빅데이터를 다루는 데 필요한 도구와 프로세스, 기법 등 기술적 측면과 빅데이터를 효과적으로 활용하는 데 필요한 사람과 조직구조, 혁신과 발견을 장려하는 조직 문화 등 조직적 측면을 균형 있게 서술한 책이다. 이 책을 통해 빅데이터 활용을 어떻게 시작해야 할지, 어디에 가장 중점을 두어야 할지, 피해야 할 함정이나 조직에서 부닥칠 문제는 무엇인지 등 실무적인 조언을 얻을 수 있다.

★ 이 책에서 다루는 내용 ★

■ 빅데이터는 무엇인가, 왜 중요한가, 빅데이터에서 얻을 수 있는 혜택은 무엇인가
■ 웹 데이터, 센서 데이터, 텍스트 데이터 등 비즈니스를 변화시킬 수 있는 10가지 빅데이터 소스
■ 빅데이터를 길들이는 데 필요한 기술, 프로세스, 기법
■ 분석 환경과 데이터 환경의 수렴
■ 그래픽 사용자 인터페이스, 분석 포인트 솔루션, 오픈소스 도구, 데이터 시각화 도구의 진화
■ 앙상블 기법, 범용 모델, 텍스트 분석 등의 최신 분석 접근법
■ 무엇이 훌륭한 분석, 훌륭한 분석 전문가, 훌륭한 분석팀을 만드는가
■ 분석 혁신 센터를 통해 분석 혁신을 활성화하는 방법
■ 조직 내에 혁신과 발견의 문화를 뿌리내리는 방법

★ 이 책의 대상 독자 ★

수년간 고급 분석에 대한 책이 무수히 쏟아져 나왔다. 최근에는 빅데이터에 대한 책도 눈에 띈다. 이 책은 다른 책과는 좀 다른 관점에서 접근을 시도한다. 주된 초점은 독자로 하여금 빅데이터가 과연 무엇인지, 분석을 통해 빅데이터를 어떻게 이용할 수 있는지 정보를 전달하며, 오늘날 빅데이터 환경에서 세계적인 수준의 고급 분석 생태계를 조직하고 진화시키는 방법에 대한 방향성을 제시하고자 한다. 상당히 폭넓은 층의 독자들에게 유용하고 흥미로운 책이 될 거라 믿는다. 이 책을 손에 든 독자가 분석 전문가든, 분석가가 도출한 결과를 이용하는 현업 담당자든, 빅데이터와 고급 분석에 개인적으로 관심 있는 일반인이든, 무언가를 얻어갈 수 있을 것이다.
이 책은 기술적으로 깊이 파고들지는 않는다. 개념을 개략적으로 이해할 수 있는 정도로만 다룰 것이다. 어느 부분에 대해 더 알고 싶은지 확인하도록 도움을 주는 동시에 개념을 이해하고 적용할 수 있게 하는 것을 목표로 삼았다. 이 책은 교과서라기보다는 입문서로 개발자가 아닌 일반 독자들도 충분히 읽을 수 있게 구성했다. 한편 각 주제에 대한 배경 지식이 있는 독자라면 행간을 통해 기술적인 시사점을 더 깊이 이해할 수 있을 것이다.

★ 이 책의 구성 ★

이 책은 총 4부로 구성되어 있으며 각각 빅데이터의 거대한 물결을 길들이는 데 필요한 측면을 조망한다. 1부에서는 빅데이터가 무엇인지, 왜 중요한지, 어떻게 활용할 수 있는지를 다룬다. 2부에서는 빅데이터를 성공적으로 분석하고 활용하는 데 필요한 도구, 기술, 기법을 다룬다. 3부에서는 효과적인 분석에 필요한 원칙 및 사람과 조직구조에 대해 이야기한다. 4부에서는 모든 개념을 총망라하며 분석혁신센터와 새로운 조직 문화를 통해 혁신적인 분석을 활성화하는 방법을 모색한다. 각 부와 장의 내용을 좀 더 자세히 소개하면 다음과 같다.

1부: 빅데이터가 온다
1부에서는 빅데이터가 무엇인지, 왜 중요한지, 빅데이터 분석으로 얻을 수 있는 혜택은 무엇인지 다룬다. 총 10가지 빅데이터 소스를 짚어보며 비즈니스 향상에 어떻게 활용할 수 있는지를 살펴본다. 빅데이터가 무엇인지 또는 빅데이터를 얼마나 광범위하게 활용할 수 있는지 아직 이해가 부족한 독자라면 1부에서 확실한 개념을 짚고 넘어가자.

1장: 빅데이터란 무엇인가 그리고 왜 중요한가?
1장에서는 먼저 빅데이터를 둘러싼 몇 가지 배경과 빅데이터가 과연 무엇인지 알아본다. 조직에서 빅데이터를 활용할 수 있는 몇 가지 방안도 제시할 것이다. 조직에서 빅데이터 물결을 성공적으로 길들이는 데 기여하고 싶은 독자라면 이 책의 어떤 장 못지않게 1장의 내용을 잘 이해할 필요가 있다.

2장: 웹 데이터, 최초의 빅데이터
오늘날 빅데이터 소스 중에서 가장 광범위하게 이용되고 잘 알려진 소스는 아마도 웹 사이트에서 수집한 세부 데이터일 것이다. 사용자가 웹을 탐색하는 동안에 생성되는 로그 파일은 분석의 손길을 기다리는 정보의 보고(寶庫)다. 다양한 산업에 속한 많은 조직에서 웹 사이트로부터 추출한 세부 고객별 데이터를 전사 분석 환경으로 통합했다. 2장에서는 웹 데이터가 어떤 식으로 다양한 비즈니스 의사결정을 향상시키고 변화시키는지 들여다본다.

3장: 다양한 빅데이터 소스와 내재된 가치
본 장에서는 9가지 빅데이터 소스를 개략적으로 훑어본다. 각 데이터 소스를 소개하면서 비즈니스에 접목할 수 있는 활용 분야와 시사점을 살펴보고자 한다. 한 가지 두드러지는 추세는 같은 기반 기술로부터 업종에 따라 다른 빅데이터 소스가 파생되는 현상이다. 또한, 다른 업종에서 같은 빅데이터 소스를 활용하는 현상도 있다. 빅데이터는 써먹을 데가 한정된, 한 가지 재주밖에 못 부리는 조랑말이 아닌 만능 엔터테이너다.

2부: 빅데이터를 길들이는 기술, 프로세스, 기법
2부에서는 빅데이터를 길들이는 데 필요한 기술, 프로세스, 기법을 다룬다. 그동안 상당한 기술진보로 말미암아 세 분야 모두 확장성이 커졌다. 조직에서는 시대에 뒤떨어진 접근법을 붙들고 빅데이터 시대에 경쟁력을 유지할 수 있으리라 기대해서는 안 된다. 2부는 이 책에서 가장 기술적인 내용이긴 하지만, 일반 독자들도 충분히 이해할 만한 수준으로 기술했다. 이 부분을 읽고 나면 빅데이터 분석의 세상으로 들어가면서 맞닥뜨릴 여러 개념이 친숙하게 다가올 것이다.

4장: 분석 확장성의 진화
데이터는 당시에 최대한의 확장성을 지닌 시스템도 한계에 다다르게 할 정도로 빠른 속도로 팽창을 거듭했다. 고급 분석을 수행하는 전통적인 방식은 빅데이터 앞에서 이미 한계를 드러내고 있다. 이제 전통적인 접근법은 통하지 않을 것이다. 4장에서는 분석 환경과 데이터 환경의 수렴, 초병렬처리(MPP) 아키텍처, 클라우드 컴퓨팅, 그리드 컴퓨팅, 맵리듀스에 대해 논한다. 이들 패러다임은 좀 더 큰 확장성을 가능하게 하며 빅데이터 분석에서 제 몫을 할 것이다.

5장: 분석 프로세스의 진화
확장성이 크게 높아짐에 따라 확장성을 충분히 이용할 수 있도록 분석 프로세스를 업데이트할 필요성이 대두되었다. 5장에서는 가장 먼저 분석 전문가가 고급 분석 프로세스를 개발하는 데 활용할 수 있는 확장성 있는 환경을 제공해주는 분석 샌드박스의 용도에 대해 살펴본다. 그런 다음 분석 데이터를 생성할 때 전사 분석 데이터 집합이 어떻게 생산성과 일관성은 높이면서 위험은 낮추는지 다룬다. 마지막으로 임베디드 스코어링 프로세스를 통해 고급 분석 프로세스의 산출물을 어떻게 다른 사용자와 애플리케이션에 배포하고 널리 쓰이게 하는지 알아보며 끝을 맺는다.

6장: 분석 도구와 기법의 진화
6장에서는 고급 분석 도구가 어떻게 진화해왔는지, 그러한 발전이 분석 전문가가 일하는 방식과 빅데이터를 다루는 방식을 앞으로 어떻게 변화시켜 갈 것인지 살펴본다. 구체적으로는 포인트 앤 클릭 인터페이스, 분석 포인트 솔루션, 오픈 소스 도구, 데이터 시각화 도구의 발전을 다룬다. 또한, 분석 전문가가 그러한 발전을 적극 활용하기 위해 모델을 개발하는 접근법을 어떻게 변화시킬 것인지도 다룬다. 구체적으로는 앙상블 기법, 범용 모델, 텍스트 분석을 다룬다.

3부: 빅데이터를 길들이는 사람과 접근법
3부에서는 분석 결과를 이끌어내는 사람, 그들이 속한 팀, 훌륭한 분석을 도출하기 위해 사용하는 접근법을 다룬다. 빅데이터 분석을 포함한 모든 분석 작업에서 가장 중요한 요인은 적합한 분석 원칙을 따르는 적합한 인재를 운전석에 앉혀야 한다는 점이다. 3부를 읽은 후에는 무엇이 훌륭한 분석, 훌륭한 분석 전문가, 훌륭한 분석팀을 특징짓는지 잘 이해하게 될 것이다.

7장: 무엇이 훌륭한 분석을 만드는가?
통계를 돌리고, 리포트를 작성하고, 모델링 알고리즘을 적용하는 것은 모두 훌륭한 분석에 필요한 첫 단추에 불과하다. 7장에서는 몇 가지 정의를 짚어보고 나서, 훌륭한 분석과 연관된 여러 주제를 다룰 것이다. 조직에서 기존에 다뤄왔던 것보다 훨씬 더 복잡성을 지니는 빅데이터이기에 이 장에서 말하는 원칙을 새기는 일은 그 어느 때보다 훨씬 중요하다.

8장: 무엇이 훌륭한 분석 전문가를 만드는가?
수학, 통계학, 프로그래밍 실력은 훌륭한 분석 전문가에게 필요한 자질이긴 하지만, 충분조건은 아니다. 훌륭한 분석 전문가는 사람들이 언뜻 생각하지 못하는 자질도 갖고 있다. 책임감, 창의성, 비즈니스 감각, 발표력, 직관력이 여기에 속한다. 8장에서는 훌륭한 분석 전문가를 정의하는 데 각각의 자질이 왜 중요한지, 왜 간과해서는 안 되는지 살펴본다.

9장: 무엇이 훌륭한 분석 팀을 만드는가?
조직에서는 최적의 효과를 위해 고급 분석 팀을 어떻게 구성하고 유지해야 하는가? 분석 팀은 조직도의 어느 위치에 가장 적합한가? 어떻게 운영해야 하는가? 누가 고급 분석을 해야 하는가? 9장에서는 훌륭한 분석 팀을 만들기 위해 고려해야 할 몇 가지 공통적인 사안과 원칙에 대해 살펴본다.

4부: 분석 문화를 뿌리내려라
4부에서는 고급 분석과 빅데이터를 통해 성공적으로 혁신을 추구하고 싶은 조직에서 반드시 도입해야 하는, 잘 알려진 기본 원칙들을 되새겨본다. 이 원칙들은 다른 분야에도 두루 통용되지만, 오늘날 기업 환경에서 고급 분석에 접목할 수 있는 관점을 제시하고자 한다. 여기서 다루는 개념들은 낯설지 않겠지만, 고급 분석과 빅데이터 영역에 적용하는 방식은 아마 낯설 것이다.

10장: 분석 혁신을 활성화하라
10장에서는 가장 먼저 성공적인 혁신에 숨은 몇 가지 기본 원칙을 살펴본다. 그런 다음 그 원칙을 분석혁신센터라는 개념을 통해 빅데이터와 고급 분석 분야에 적용한다. 조직 내부에서 분석 혁신을 추진하고 빅데이터를 잘 길들일 수 있는 실질적인 방안을 제시하고자 한다.

11장: 혁신과 발견의 문화를 창조하라
11장에서는 혁신과 발견의 문화를 창조할 수 있는 몇 가지 방안을 제시하면서 책을 마무리하고자 한다. 재미있고 가볍게 읽을 수 있게 구성했으며, 무엇이 혁신적인 분석이 나올 수 있는 문화를 창조할 수 있을지에 관해 생각할 거리를 던진다. 대부분은 잘 알려진 내용이지만, 다시 한 번 음미해보고 검증된 원칙들을 빅데이터와 고급 분석에 어떻게 접목할 수 있을지 고민해볼 만한 가치가 충분하다.

★ 저자 서문 ★

이메일이 날아온다. 컴퓨터 패키지 광고가 실려 있다. 판매상이 꼭 당신의 마음을 훔쳐보기라도 한 것 같다. 불과 몇 시간 전에 당신이 웹 사이트에서 컴퓨터를 둘러보았을 뿐인데…
당신이 컴퓨터 패키지를 사려고 매장으로 차를 몰고 가고 있는데, 쿠폰 한 장이 날아온다. 조금 있으면 지나칠 커피숍에서 온 것이다. 근방에 있기 때문에 20분 내로 방문하면 10퍼센트 할인을 받을 수 있단다.
당신이 커피를 마시고 있는데, 사과 내용을 담은 메일이 날아온다. 어제 페이스북과 제조사 홈페이지에 한 제품에 대해 불평하는 글을 남겼더니 그 제품의 제조사에서 보낸 것이다.
집으로 돌아오자 당신이 가장 좋아하는 온라인 게임에서 특별 갑옷 업그레이드를 구매할 수 있다는 안내문이 날아온다. 마침 쩔쩔매고 있던 구간을 통과하려면 꼭 필요한 아이템이다.
허황된 말로 들리는가? 먼 미래에나 가능한 일이라고 생각하는가? 그렇지 않다. 모두 당장 가능한 일이다! 빅데이터, 고급 분석, 빅데이터 분석은 이제 피할 수 없는 대세로 보인다. 어디로 고개를 돌리든 사람들은 빅데이터와 고급 분석에 대해 말하고, 쓰고, 관심을 기울이고 있다. 이제 이 책에 대한 의견도 보태지리라.
어디까지가 진실이고, 어디까지가 과장일까? 이 문제에 관해 생각하다 보면 빅데이터 분석에 대한 예찬이 과도하게 부풀려진 건 아닌지 의심하게 되기도 한다. 지난 몇 년간 많은 예찬론이 쏟아지는 동안, 분석 역량과 대용량 데이터 활용이라는 측면에서 우리가 일대 전환기를 맞이했다는 점은 분명한 사실이다. 때로 언론에서 지나칠 정도로 호들갑 떠는 모습을 지켜보았다면 그 아래 숨은 매우 실제적이면서도 강력한 동기를 눈치챘을 것이다. 빅데이터를 둘러싼 예찬은 앞으로 빅데이터 분석이 비즈니스와 소비자에게 가져다줄 혜택에 대한 흥분과 기대감에서 나온 것이다.
빅데이터는 비즈니스, 정부, 학계에서 분석 혁신의 새 바람을 일으킬 또 하나의 새로운 데이터 소스다. 이러한 혁신에는 경영을 바라보는 관점을 급격히 변화시킬 잠재력이 숨어 있다. 빅데이터로 가능해질 분석은 훨씬 분별력 있는, 때로는 오늘날과는 전혀 다른 의사결정을 가져올 것이다. 오늘날에는 그저 희망사항에 불과한 통찰력을 가져올 것이다. 앞으로 보겠지만, 빅데이터를 길들이는 데 필요한 요소와 지금까지 새로운 데이터 소스를 길들이는 데 항상 필요했던 요소 사이에는 많은 공통점이 있다. 하지만 빅데이터의 늘어난 규모는 최신 도구, 기술, 기법, 프로세스를 이용할 것을 요구한다. 전통적인 방식으로 분석에 접근해서는 성공할 수 없다. 고급 분석을 한 차원 높은 수준으로 끌어올려야 할 시간이다. 그게 바로 이 책의 핵심 요지이다.
빅데이터를 어떻게 길들이냐는 문제는 향후 10년간 살아남을 비즈니스를 결정지을 생존 게임이라고 할 수 있다. 준비하고 주도권을 쟁취하는 조직은 거대한 물결에 휩쓸려 만신창이가 되기보다는 멋지게 파도타기에 성공할 수 있을 것이다. 빅데이터를 길들이고 빅데이터에서 감탄을 자아낼 만한 새로운 분석을 이끌어내려면 무엇을 알아야 하고 어떻게 준비해야 할까? 이제, 등을 기대고 편히 앉아 학구열을 불태워보자!

정보제공 :

1부 빅데이터가 온다
___1장 빅데이터란 무엇인가, 그리고 왜 중요한가 
______빅데이터란 무엇인가
______‘빅’과 ‘데이터’ 중 어느 것이 더 중요할까
______빅데이터는 어떻게 다른가
______빅데이터는 첫인상만큼 새롭지만은 않다
______빅데이터의 위험 요인
______빅데이터를 길들여야 하는 이유
______빅데이터의 구조
______빅데이터 탐색
______대부분의 빅데이터는 쓸모가 없다
______효과적인 빅데이터 필터링
______빅데이터와 기존 데이터의 통합
______표준화의 필요성
______오늘의 빅데이터가 내일의 빅데이터는 아니다
______기억해두기

___2장 웹 데이터: 최초의 빅데이터
______웹 데이터란 무엇인가
______웹 데이터가 말해주는 것
______웹 데이터를 활용하는 방법
______기억해두기

___3장 다양한 빅데이터 소스와 내재된 가치
______자동차 보험: 텔레매틱스 데이터의 가치
______여러 가지 산업: 텍스트 데이터의 가치
______여러 가지 산업: 시간 및 위치 데이터의 가치
______소매 및 제조업: 전자태그 데이터의 가치
______전력: 스마트 그리드 데이터의 가치
______도박: 카지노칩 추적 데이터의 가치
______산업용 엔진 및 장비: 센서 데이터의 가치
______비디오게임: 텔레메트리 데이터의 가치
______통신 및 기타 분야: 소셜 네트워크 데이터의 가치
______기억해두기

2부 빅데이터를 길들이는 기술, 프로세스, 기법
___4장 분석 확장성의 진화
______확장성의 역사
______분석 환경과 데이터 환경의 수렴
______대용량 병렬처리 시스템
______클라우드 컴퓨팅
______그리드 컴퓨팅
______맵리듀스
______양자택일이 아니다!
______기억해두기

___5장 분석 프로세스의 진화
______분석 샌드박스
______분석 데이터 집합이란 무엇인가
______전사 분석 데이터 집합
______임베디드 스코어링
______기억해두기

___6장 분석 도구와 기법의 진화
______분석 기법의 진화
______분석 도구의 진화
______기억해두기

3부 빅데이터를 길들이는 사람과 접근법
___7장 무엇이 훌륭한 분석을 만드는가
______분석 vs 리포팅
______분석을 G.R.E.A.T.하게 만들자!
______일반 분석 vs 고급 분석
______분석에 귀 기울여라
______문제를 정확하게 프레이밍하라
______통계적 유의성 vs 비즈니스 중요성
______표본 vs 모집단
______추론 vs 통계
______기억해두기

___8장 무엇이 훌륭한 분석 전문가를 만드는가
______분석 전문가는 누구인가
______분석 전문가에 관한 잘못된 상식
______훌륭한 분석 전문가는 모두 예외적이다
______흔히 과소평가되는 훌륭한 분석 전문가의 자질
______자격증은 꼭 필요한가, 군더더기인가
______기억해두기

___9장 무엇이 훌륭한 분석 팀을 만드는가
______모든 산업은 태생이 다르다
______일단 저지르자!
______인재 전쟁이 몰 온다
______팀 구조의 종류
______팀의 역량을 키우자
______누가 고급 분석을 해야 하는가
______IT 전문가와 분석 전문가는 왜 앙숙인가
______기억해두기

4부 분석 문화를 뿌리내려라
___10장 분석 혁신을 활성화하라
______비즈니스에는 혁신이 필요하다
______전통적인 접근법은 혁신을 가로막는다
______분석 혁신이란 무엇인가
______분석 혁신을 실현하는 반복적 접근법
______발상의 전환이 필요하다
______분석 혁신 센터를 세울 준비가 되었는가
______기억해두기

___11장 혁신과 발견의 문화를 창조하라
______무대를 펼쳐라
______혁신의 기본 원칙
______기억해두기