간편결제, 신용카드 청구할인
카카오페이 3,000원
(카카오페이 5만원 이상 결제시, 12/1~12/31 기간 중 1회)
인터파크 롯데카드 5% (18,810원)
(최대할인 10만원 / 전월실적 40만원)
북피니언 롯데카드 30% (13,860원)
(최대할인 3만원 / 3만원 이상 결제)
NH쇼핑&인터파크카드 20% (15,840원)
(최대할인 4만원 / 2만원 이상 결제)
Close

크롤링 핵심 가이드 : 웹 사이트 크롤링을 위한 실전 테크닉

원제 : クロ-リングハック あらゆるWEBサイトをクロ-ルするための實踐テクニック
소득공제

2013년 9월 9일 이후 누적수치입니다.

판매지수 12
?
판매지수란?
사이트의 판매량에 기반하여 판매량 추이를 반영한 인터파크 도서에서의 독립적인 판매 지수입니다. 현재 가장 잘 팔리는 상품에 가중치를 두었기 때문에 실제 누적 판매량과는 다소 차이가 있을 수 있습니다. 판매량 외에도 다양한 가중치로 구성되어 최근의 이슈도서 확인시 유용할 수 있습니다. 해당 지수는 매일 갱신됩니다.
Close
공유하기
정가

22,000원

  • 19,800 (10%할인)

    1,100P (5%적립)

할인혜택
적립혜택
  • I-Point 적립은 마이페이지에서 직접 구매확정하신 경우만 적립 됩니다.
추가혜택
주문수량
감소 증가

* 배송예정일이 오늘이나 내일인 경우 1) 당일/하루배송 보장! 2) 배송 지연 시 I-Point 2,000P또는 4,000원 도서상품권 지급 &n 더보기

  • 이벤트/기획전

  • 연관도서(46)

  • 상품권

AD

책소개

웹 애플리케이션, 웹 서비스를 개발/운용하는 엔지니어라면, HTML/HTTP와 웹 서버 등의 웹 기술과 관련된 기초 지식을 알고 있어야 한다. 이 책에서는 실제 서비스에서 대규모 웹 크롤러를 개발/운용해 본 경험을 기반으로, 크롤러를 지탱하는 HTTP, 문자 코드, HTML, 인증, Ajax/JSON 등 웹 엔지니어가 꼭 기억해야 하는 포인트와 테크닉을 설명한다. 크롤러의 입장에서 보는 웹 사이트의 구조와 그 실정에 맞는, 실용적이고 효율적인 크롤링 방법을 설명한다.

◎ 실제 예를 바탕으로 HTTP, HTML 등의 웹과 관련된 내용을 깊게 알 수 있다.
◎ 대규모 크롤러를 개발/운용하는 노하우를 알 수 있다.
◎ 웹 사이트 운영자(크롤링 당하는 입장)도 크롤러와 관련된 지식을 얻을 수 있다.

목차

▣ 1장: 크롤러를 지탱하는 기술
1-1 크롤러란?
1-2 크롤러의 구조
___크롤링
___스크레이핑
1-3 크롤러와 웹 기술
___데이터 저장하기
___웹 크롤러가 지켜야 하는 규칙
___크롤러가 직면한 과제
1-4 크롤러 만들어보기
___Java로 간단한 크롤러 구현하기
___크롤링/스크레이핑 전용 서비스와 도구
1-5 개발을 지원하는 도구
___curl
___브라우저의 개발자 도구

▣ 2장: HTTP 이해하기
2-1 HTTP 개요
___HTTP 통신 내용 보기
2-2 HTTP 메서드 사용 구분하기
___일부 메서드가 지원되지 않는 경우
___메서드의 사용 방법이 적절하지 않은 경우
___URL 인코드 방식의 차이에 따른 문제
2-3 믿을 수 없는 응답 상태
___상태 코드에 따라 적절히 처리하기
___오류가 발생했는데도 200을 응답하는 경우
___페이지가 존재하지 않는 경우의 리다이렉트
___서버에 접속할 수 없는 경우
___서버 오류가 발생했을 경우의 일반적인 대처 방법
___리다이렉트의 미묘한 의미 차이
2-4 HTTP 헤더 조정하기
___크롤러의 사용자 에이전트
___쿠키가 없으면 크롤링할 수 없는 웹 사이트
___국제화를 지원하는 웹 사이트 크롤링하기
2-5 프록시 서버를 경유해서 크롤링하기
___프록시 사용 시 HTTP 통신 내용 확인하기
___크롤러에서 프록시 사용하기
2-6 SSL 통신 때 발생하는 오류
___SSL 버전
___SSL 지원 사이트 크롤링하기
___자바의 AES 키 길이 문제
2-7 HTTP/2
___자바로 HTTP/2 다루기
2-8 정리

▣ 3장: 문자 깨짐 해결하기
3-1 크롤링과 문자 코드
3-2 왜 문자가 깨질까?
___컴퓨터와 문자
___문자 깨짐과 멀티 바이트 문자
3-3 클라이언트와 서버 간의 문자 깨짐
___문자 깨짐이 일어나는 위치
___애플리케이션과 데이터베이스
___텍스트 파일 읽고 쓰기
3-4 적절하게 문자 코드 다루기
___크롤링과 문자 코드
___인덱싱과 문자 코드
3-5 대표적인 문자 코드
___UTF-8
___EUC-KR
3-6 문자 코드와 관련해 발생할 수 있는 함정
___문자 코드 믿지 말기
___데이터베이스와 초밥① - 사라진 초밥 문제
___데이터베이스와 초밥② - 그림 문자 검색 문제
___트러블 슈팅을 위한 팁
3-7 문자 코드 추정하기
___juniversalchardet
___ICU4J
___자바 외 언어의 라이브러리
3-8 정리

▣ 4장: 스크레이핑 테크닉
4-1 HTML에서 데이터 추출하기
___정규 표현식
___XPath
___CSS 선택자
___HTML 이외의 데이터
4-2 CSS 선택자 사용하기
___지정한 위치의 요소 추출하기 - nth-child()
___텍스트 노드를 문자열로 검색하기 - contains()
___텍스트 노드를 정규 표현식으로 검색하기 - matched()
___자식 요소를 제외하고 검색하기 - containsOwn()과 matchesOwn()
___속성으로 검색하기
4-3 스크레이핑한 데이터 가공하기
___[예1] alt 속성에서 데이터 추출하기
___[예2] 주소 추출하기
___웹 페이지의 메타 데이터
4-4 메타 데이터 활용하기
___구조화 마크업
4-5 정리

▣ 5장: 인증하기
5-1 인증이 필요한 페이지를 크롤링하는 이유
___인증이 필요한 웹 사이트를 크롤링할 때 지켜야 할 사항
5-2 다양한 인증 방식과 크롤링 방법
___HTTP 인증
___입력 양식 기반 인증
___2단계 인증
___CAPTCHA를 사용한 BOT 대책
5-3 웹 API를 사용해 정보 추출하기
___접근키로 인증하기
___OAuth 2.0
___인증과 허가
___pac4j를 사용해 GitHub OAuth 사용해 보기
5-4 정리

▣ 6장: 크롤링 응용 테크닉
6-1 크롤러가 지켜야 하는 매너
___요청 수와 요청 간격 제한
___크롤링 제한하기
6-2 필요한 페이지만 크롤링하기
___페이징
___의외로 잘 사용하지 않는 사이트맵 XML
___RSS 또는 Atom을 기반으로 사이트의 변경 정보 추출하기
___콘텐츠를 캐시해서 통신 줄이기
___gzip 압축으로 응답 빠르게 만들기
6-3 제거된 콘텐츠 판정하기
___콘텐츠에 명시적으로 적혀 있는 기간 사용하기
___대상 사이트를 정기적으로 크롤링하기
___인덱스한 URL을 정기적으로 확인하기
___목록 페이지에 URL이 존재하지 않는 경우 삭제된 것으로 판정하기
___남은 문제
6-4 웹 사이트의 변경 시점 및 변경 빈도 학습하기
___명시된 변경일 찾기
___오류
___변경 빈도에 따라 크롤링 빈도 조정하기
___크롤링 소요 시간을 기반으로 크롤러의 리소스 사용량 조절하기
6-5 가장 효율적인 방법 = 크롤링하지 않기
6-6 정리

▣ 7장: 자바스크립트 가지고 놀기
7-1 Ajax와 SPA
___자바스크립트를 사용한 웹 페이지의 예
___크롤러의 관점에서 살펴본 자바스크립트
7-2 자바스크립트와의 싸움 피하기
___자바스크립트의 동작 재현하기
___크롤러를 위한 정보 찾기
___모바일 사이트
7-3 브라우저 조작과 도구 활용하기
___Selenium WebDriver 사용해 보기
7-4 정리

저자소개

시마모토 타카코, 타도코로 순스케, 하기노 타카히로, 카와카미 모모코 [저] 신작알림 SMS신청 작가DB보기
생년월일 -

해당작가에 대한 소개가 없습니다.

생년월일 -

저자 윤인성은 SF 영화를 즐겨보며 그 안에서 나오는 미래적인 컴퓨터 요소에 열광하고, 어떻게 하면 그것을 구현할 수 있을지 생각하는 평범한 개발자다. 프로그래밍과 관련된 지식을 나누는 것을 좋아하여 블로그를 운영하고 있다. 취미는 기타와 피아노 연주다.

역자의 다른책

전체보기
펼쳐보기

이 상품의 시리즈

(총 48권 / 현재구매 가능도서 47권)

선택한 상품 북카트담기
펼쳐보기

전공도서/대학교재 분야에서 많은 회원이 구매한 책

    리뷰

    0.0 (총 0건)

    구매 후 리뷰 작성 시, 북피니언 지수 최대 600점

    리뷰쓰기

    기대평

    작성시 유의사항

    평점
    0/200자
    등록하기

    기대평

    10.0

    판매자정보

    • 인터파크도서에 등록된 오픈마켓 상품은 그 내용과 책임이 모두 판매자에게 있으며, 인터파크도서는 해당 상품과 내용에 대해 책임지지 않습니다.

    판매자

    (주)교보문고

    상호

    (주)교보문고

    사업자 종류

    법인사업자

    사업자번호

    102-81-11670

    연락처

    1544-1900

    이메일

    callcenter@kyobobook.co.kr

    통신판매 신고 번호

    01-0653

    영업소재지

    서울특별시 종로구 종로 1(종로1가,교보빌딩)

    교환/환불

    반품/교환 방법

    ‘마이페이지 > 취소/반품/교환/환불’ 에서 신청 또는 1:1 문의 게시판 및 고객센터(1577-2555)에서 신청 가능

    반품/교환가능 기간

    변심 반품의 경우 출고완료 후 6일(영업일 기준) 이내까지만 가능
    단, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내

    반품/교환 비용

    변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
    상품이나 서비스 자체의 하자로 인한 교환/반품은 반송료 판매자 부담

    반품/교환 불가 사유

    ·소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)

    ·소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등

    ·복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집

    ·시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우

    ·전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우

    상품 품절

    공급사(출판사) 재고 사정에 의해 품절/지연될 수 있음

    소비자 피해보상
    환불지연에 따른 배상

    ·상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됨

    ·대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

    배송안내

    • 교보문고 상품은 택배로 배송되며, 출고완료 1~2일내 상품을 받아 보실 수 있습니다.

    • 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 상품을 기준으로 배송됩니다.

    • 군부대, 교도소 등 특정기관은 우체국 택배만 배송가능합니다.

    • 배송비는 업체 배송비 정책에 따릅니다.

    • - 도서 구매 시, 1만 원 이상 무료, 1만원 미만 2천 원 - 상품별 배송비가 있는 경우, 상품별 배송비 정책 적용