HOME > 상세정보

상세정보

(파이썬으로 배우는) 웹 크롤러 (44회 대출)

자료유형
단행본
개인저자
박정태, 저
서명 / 저자사항
(파이썬으로 배우는) 웹 크롤러 = Python Web Crawler / 박정태 지음
발행사항
서울 :   정보문화사,   2018  
형태사항
xxi, 394 p. : 삽화, 도표 ; 24 cm
ISBN
9788956747750
일반주기
색인수록  
000 00000cam c2200205 c 4500
001 000045930227
005 20180212100852
007 ta
008 180208s2018 ulkad 001c kor
020 ▼a 9788956747750 ▼g 93000
035 ▼a (KERIS)BIB000014696671
040 ▼a 211046 ▼c 211046 ▼d 211009
082 0 4 ▼a 006.31 ▼2 23
085 ▼a 006.31 ▼2 DDCK
090 ▼a 006.31 ▼b 2018z1
245 2 0 ▼a (파이썬으로 배우는) 웹 크롤러 = ▼x Python Web Crawler / ▼d 박정태 지음
260 ▼a 서울 : ▼b 정보문화사, ▼c 2018
300 ▼a xxi, 394 p. : ▼b 삽화, 도표 ; ▼c 24 cm
500 ▼a 색인수록
700 1 ▼a 박정태, ▼e▼0 AUTH(211009)122795
945 ▼a KLPA

No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 중앙도서관/제2자료실(3층)/ 청구기호 006.31 2018z1 등록번호 111786058 도서상태 대출가능 반납예정일 예약 서비스 B M
No. 2 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.31 2018z1 등록번호 121247036 도서상태 대출가능 반납예정일 예약 서비스 B M
No. 3 소장처 세종학술정보원/과학기술실/ 청구기호 006.31 2018z1 등록번호 151339924 도서상태 대출가능 반납예정일 예약 서비스
No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 중앙도서관/제2자료실(3층)/ 청구기호 006.31 2018z1 등록번호 111786058 도서상태 대출가능 반납예정일 예약 서비스 B M
No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 과학도서관/Sci-Info(1층서고)/ 청구기호 006.31 2018z1 등록번호 121247036 도서상태 대출가능 반납예정일 예약 서비스 B M
No. 소장처 청구기호 등록번호 도서상태 반납예정일 예약 서비스
No. 1 소장처 세종학술정보원/과학기술실/ 청구기호 006.31 2018z1 등록번호 151339924 도서상태 대출가능 반납예정일 예약 서비스

컨텐츠정보

책소개

데이터를 수집하기 위한 준비부터 활용하는 방법까지 소개한다. 1단계 준비, 2단계 데이터 수집, 3단계 데이터 활용 단계로 구성되어 있다. 준비 단계에서는 파이썬 기초 문법과 웹에 대한 내용을 다룬다. 데이터 수집 단계에서는 파이썬을 활용하여 크롤러를 만드는 단계이다. 활용 단계는 데이터를 저장하고 그래프를 그리고 머신러닝 프레임워크를 활용하여 데이터 처리를 하는 방법을 다룬다.

파이썬을 활용하여 크롤러 시스템 구축하기

시간이 지날수록 데이터는 점점 더 많아질 것이고, 데이터의 중요도는 올라갈 것이다. 우리는 하루에도 수많은 데이터를 스쳐 지나간다. 이러한 데이터들을 수집 및 활용하고 객관적으로 판단하는 것은 매우 중요해졌다. 이렇게 생성된 데이터는 더 이상 직접 수집하기가 거의 불가능하다고 본다.

이 책은 데이터를 수집하기 위한 준비부터 활용하는 방법까지 소개하고 있다. 1단계 준비, 2단계 데이터 수집, 3단계 데이터 활용 단계로 구성되어 있다. 준비 단계에서는 파이썬 기초 문법과 웹에 대한 내용을 다룬다. 데이터 수집 단계에서는 파이썬을 활용하여 크롤러를 만드는 단계이다. 활용 단계는 데이터를 저장하고 그래프를 그리고 머신러닝 프레임워크를 활용하여 데이터 처리를 하는 방법을 다룬다.

입문자도 쉽게 익힐 수 있는 파이썬으로 웹 크롤러 만들기

크롤러는 인터넷을 돌아다니며 데이터를 수집하는 프로그램이다. 크롤러를 만드는 데 다양한 개념이 필요한 이유는 크롤러가 웹에 대해 상당히 의존적이기 때문이다. 크롤러라는 것은 우리가 수집하고자 하는 사이트에 따라 만드는 방식이 달라지므로 기본 개념을 잘 잡고 크롤러를 만드는 것이 중요하다.

이 책에서는 파이썬을 모르는 입문자부터 파이썬으로 무엇을 해야 할지 모르는 학습자가 읽기 좋은 책이다. 데이터를 수집하는 크롤러에 대한 내용을 주로 설명하고 있으며, 데이터 처리 및 분석 방법, 파이썬으로 서버를 만드는 방법을 소개한다.

책을 읽고 웹 서핑을 하다보면 웹 페이지 말고 URL 창이 먼저 보일 것이다. 그리고 ‘이 데이터를 수집하려면 이렇게 요청을 하면 되겠구나!’라고 생각할 것이다. 그러다 가끔 ‘어! 이 사이트 구조가 좀 이상한데?’라면서 해당 사이트의 구조를 분석하고 있는 자신을 발견할 것이다. 또한 본문에서 활용한 예제는 정보문화사 홈페이지(http://www.infopub.co.kr) 자료실에서 다운로드하여 직접 연습해 볼 수 있다.


정보제공 : Aladin

저자소개

박정태(지은이)

호기심에 신청한 다른 학과 전공 수업 시간에 크롤러를 알게 되고 그 매력에 빠졌다. 공부만으로는 갈증이 해소되지 않아 휴학 후 스타트업하여 패션 데이터 수집을 위한 쇼핑몰 크롤러와 크롤러 프레임워크를 개발하였다. 크롤러 외에도 좀 더 재미난 것을 만들어보고 싶어 교육 자료 공유 플랫폼, 화장품 추천 서비스, 의류 반품/주문/리오더 시스템과 웹 서비스와 같은 서비스 시스템을 개발하다가 영등포구청 제안 평가 시스템을 시작으로 부산항만공사 컨테이너 부두 간 반·출입 통합발급시스템, 비즈니스온 커뮤니케이션 계약시스템에서 블록체인 시스템 구축을 담당하여 프로젝트를 진행하였다. 크롤링 프로젝트의 경험을 살려 코딩애플에서 파이썬으로 크롤러 만들기, node.js로 쇼핑몰 만들기 강사로 활동했으며, 패스트캠퍼스 등 다양한 교육기관에서 블록체인 관련 강의를 하고 있다. 현재 (주)Ino파트너스 개발팀에서 팀장으로 직책을 수행하고 있다.

정보제공 : Aladin

목차

1단계 준비 
PART 1 … 크롤러 
1. 크롤러란 무엇인가? 
2. 크롤러를 만들기 위해 필요한 지식 
3. 크롤러를 만들어야 하는 이유 

PART 2 … 서버와 클라이언트 
1. 클라이언트 
2. 서버 
3. 서버와 클라이언트의 데이터를 주고받는 방법 
4. URL 
5. 정리 

PART 3 … 웹을 구성하고 있는 요소 
1. 웹 
2. HTML 
3. CSS 
4. JavaScript 
5. 웹 렌더링의 원리 

PART 4 … 파이썬 기초 문법 
1. 파이썬을 사용하는 이유 
2. 파이썬 코드 작성, 실행 방법 
3. 변수 
4. 데이터 타입 
5. 연산자 
6. 조건분기 
7. 반복문 

PART 5 … 파이썬 중급 문법 
1. 함수 
2. 클래스 
3. 모듈 
4. 예외처리 

2단계 데이터 수집 
PART 6 … 크롤링할 때 필요한 라이브러리 
1. 어떤 모듈을 사용할까? 
2. 요청 모듈 
3. 파싱 모듈 
4. 웹 테스팅 모듈 
5. 정리 

PART 7… bs4 
1. 파서의 차이 
2. bs4 사용 
3. 정규식을 활용한 bs4 고급 스킬 
4. 크롤러 만들기 
5. 정리 

PART 8 … 가상 돔을 활용한 크롤러 
1. 돔 접근 
2. 웹 제어하기 
3. selenium과 bs4의 조합 
4. selenium 활용 

3단계 데이터 활용 
PART 9 … 데이터 가지고 놀기 
1. 로그 
2. 슬랙 
3. 파일 다루기 

PART 10 … 다양한 분야에서 활용하는 파이썬 
1. 서버 
2. 머신러닝 
3. 그래프 그려보기 
4. 정리

관련분야 신착자료

Cartwright, Hugh M. (2021)
한국소프트웨어기술인협회. 빅데이터전략연구소 (2021)