간편결제, 신용카드 청구할인
삼성카드 6% (24,540원)
(삼성카드 6% 청구할인)
인터파크 롯데카드 5% (24,800원)
(최대할인 10만원 / 전월실적 40만원)
북피니언 롯데카드 30% (18,270원)
(최대할인 3만원 / 3만원 이상 결제)
NH쇼핑&인터파크카드 20% (20,880원)
(최대할인 4만원 / 2만원 이상 결제)
Close

카프카 핵심 가이드 : 실시간 데이터와 스트림 프로세싱

원제 : Kafka: The Definitive Guide
소득공제

2013년 9월 9일 이후 누적수치입니다.

판매지수 963
?
판매지수란?
사이트의 판매량에 기반하여 판매량 추이를 반영한 인터파크 도서에서의 독립적인 판매 지수입니다. 현재 가장 잘 팔리는 상품에 가중치를 두었기 때문에 실제 누적 판매량과는 다소 차이가 있을 수 있습니다. 판매량 외에도 다양한 가중치로 구성되어 최근의 이슈도서 확인시 유용할 수 있습니다. 해당 지수는 매일 갱신됩니다.
Close
공유하기
정가

29,000원

  • 26,100 (10%할인)

    1,450P (5%적립)

할인혜택
적립혜택
  • I-Point 적립은 출고완료 후 14일 이내 마이페이지에서 적립받기한 경우만 적립됩니다.
추가혜택
배송정보
주문수량
감소 증가
  • 북카트 담기
  • 바로구매
  • 매장픽업
  • 이벤트/기획전

  • 연관도서

  • 사은품(7)

책소개

카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 구축과 운영 핵심 실무서!

이 책은 카프카를 이해하기 위해 반드시 알아야 할 내용이 가득한 실용적인 안내서이며, 카프카의 아키텍처 및 내부 프로세스에 대한 전반적인 내용을 다루고 있다. 또한 카프카의 API를 사용하는 애플리케이션 개발자와 카프카를 설치, 구성, 튜닝 및 모니터링하는 개발자를 위한 책이기도 하므로, 카프카를 처음 접하는 분들에게 정말로 도움이 많이 될 것이다.

출판사 서평

모든 기업의 애플리케이션은 데이터를 생성하며, 데이터는 로그 메시지, 메트릭, 사용자 액티비티 등 여러 가지가 있다. 그리고 이런 모든 데이터를 이동시키는 방법이 데이터 자체만큼이나 중요하다. 만약 여러분이 실시간 데이터 전달을 처리하는 스트리밍 플랫폼인 아파치 카프카를 처음 접하는 개발자라면, 이 책이 여러분을 초보자에서 전문가로 이끌어 줄 것이다.

이 책은 아파치 카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 저술하였으며, 아파치 카프카를 실제 업무에 사용하는 데 필요한 모든 핵심 사항을 알려준다. 따라서 이 책의 내용을 잘 숙지하며 학습하다 보면, 어느덧 데이터 파이프라인/스트리밍 분야의 전문가가 되어 있는 자신을 발견할 것이다.

[이 책의 주요 내용]
- 데이터 파이프라인 시스템 및 카프카의 핵심 개념을 이해하고, 카프카를 설치하고 구성하는 방법을 배운다.
- 카프카 프로듀서와 컨슈머를 생성하고 구성하는 데 필요한 핵심 개념과 방법을 배운다.
- 카프카의 원활한 실무 사용에 도움이 될 핵심적인 내부 메커니즘을 이해한다.
- 카프카로 데이터 파이프라인/통합 시스템을 구축하는 데 필요한 핵심 개념과 카프카 커넥트의 사용법을 배운다.
- 카프카로 데이터 미러링을 구현하는 방법을 배운다.
- 카프카 시스템을 운영 및 관리하는 방법을 배운다.
- 카프카 시스템의 메트릭을 이해하고 모니터링하는 방법을 배운다.
- 스트림 프로세싱 시스템의 핵심 개념과 카프카 스트림을 사용해서 구현하는 방법을 배운다.

목차

CHAPTER 1 카프카 훑어보기 -1
메시지 발행과 구독하기 ...... 2
카프카 살펴보기 ...... 4
카프카를 사용하는 이유 ...... 10
데이터 생태계 ...... 12
카프카의 기원 ...... 15
카프카 시작하기 ...... 17

CHAPTER 2 카프카 설치와 구성하기 - 19
제일 먼저 할 일 ...... 19
카프카 브로커 설치하기 ...... 23
브로커 구성 ...... 25
하드웨어 선택 ...... 31
클라우드에서 카프카 사용하기 ...... 33
카프카 클러스터 ...... 34
실제 업무 사용 시 고려사항 ...... 40
요약 ...... 43

CHAPTER 3 카프카 프로듀서: 카프카에 메시지 쓰기 - 45
프로듀서 개요 ...... 46
카프카 프로듀서 구성하기 ...... 48
카프카에 메시지 전송하기 ...... 51
프로듀서 구성하기 ...... 54
직렬처리기 ...... 58
파티션 ...... 66
구버전의 프로듀서 API들 ...... 69
요약 ...... 69

CHAPTER 4 카프카 컨슈머: 카프카에서 데이터 읽기 - 71
카프카 컨슈머의 중요 개념 ...... 71
카프카 컨슈머 생성하기 ...... 77
토픽 구독하기 ...... 78
폴링 루프 ...... 79
컨슈머 구성하기 ...... 81
커밋과 오프셋 ...... 85
리밸런싱 리스너 ...... 92
특정 오프셋을 사용해서 레코드 소비하기 ...... 95
어떻게 폴링 루프를 벗어나야 할까? ...... 98
역직렬처리기 ...... 100
독자 실행 컨슈머: 그룹 없이 하나의 컨슈머만 사용하는 이유와 방법 ...... 104
구버전의 컨슈머 API들 ...... 105
요약 ...... 106

CHAPTER 5 카프카 내부 메커니즘 - 107
클러스터 멤버십 ...... 107
컨트롤러 ...... 109
복제 ...... 110
요청 처리 ...... 112
스토리지 ...... 120
요약 ...... 128

CHAPTER 6 신뢰성 있는 데이터 전달 - 129
신뢰성 보장 ...... 130
복제 ...... 131
브로커 구성 ...... 132
신뢰성 있는 시스템에서 프로듀서 사용하기 ...... 137
신뢰성 있는 시스템에서 컨슈머 사용하기 ...... 141
시스템 신뢰성 검사하기 ...... 146
요약 ...... 149

CHAPTER 7 데이터 파이프라인 구축하기 - 151
데이터 파이프라인 구축 시 고려사항 ...... 152
카프카 커넥트 vs. 프로듀서/컨슈머 ...... 158
카프카 커넥트 ...... 159
카프카 커넥트의 대안 ...... 175
요약 ...... 176

CHAPTER 8 크로스 클러스터 데이터 미러링 - 179
크로스 클러스터 미러링의 이용 사례 ...... 180
다중 클러스터 아키텍처 ...... 181
아파치 카프카의 미러메이커 ...... 194
다른 크로스 클러스터 미러링 솔루션 ...... 204
요약 ...... 207

CHAPTER 9 카프카 관리하기 - 209
토픽 작업 ...... 209
컨슈머 그룹 ...... 215
동적 구성 변경 ...... 220
파티션 관리 ...... 224
메시지 읽기와 쓰기 도구 ...... 233
클라이언트 ACL ...... 240
안전하지 않은 작업 ......
요약 ...... 243

CHAPTER 10 카프카 모니터링 - 245
메트릭 개요 ...... 245
카프카 브로커 메트릭 ...... 248
클라이언트 모니터링 ...... 270
지연 모니터링 ...... 278
End-to-End 모니터링 ...... 279
요약 ...... 280

CHAPTER 11 스트림 프로세싱 - 281
스트림 프로세싱이란? ...... 282
스트림 프로세싱 개념 ...... 285
스트림 프로세싱 디자인 패턴 ...... 291
카프카 스트림즈 사용 예 ...... 300
카프카 스트림즈: 아키텍처 오버뷰 ...... 309
스트림 프로세싱 이용 사례 ...... 313
스트림 프로세싱 프레임워크 선택하기 ...... 315
요약 ...... 316

APPENDIX 다른 운영체제에 카프카 설치하기 - 317
윈도우 시스템에 설치하기 ...... 317
맥OS에 설치하기 ...... 322

본문중에서

데이터를 처리하기 위해 구축한 환경에는 많은 애플리케이션이 있다. 그리고 데이터를 생성하는 애플리케이션에 맞춰 입력 형식이 정의되며, 메트릭, 리포트 등으로 출력 형태가 정의된다. 또한, 특정 컴포넌트를 사용해서 시스템의 데이터를 읽은 후 다른 소스에서 받은 데이터를 사용해서 변환시킨다. 그다음에 어디서든 사용될 수 있도록 최종 데이터를 데이터 기반 구조에 전달한다. 이런 작업은 고유한 콘텐츠와 크기, 용도를 갖는 다양한 유형의 데이터로 처리된다. 이것이 메시지 데이터의 처리 흐름이다.
(/ p.12)

브로커가 커밋 요청에 응답할 때까지 애플리케이션이 일시 중지된다는 것이 수동 커밋의 한 가지 단점이다. 이로 인해 애플리케이션의 처리량을 제한하게 된다. 물론 커밋을 자주 하지 않으면 처리량이 증가될 수 있다. 그러나 리밸런싱으로 인해 생기는 중복 처리 레코드의 수가 증가한다.
(/ p.88)

이처럼 역할을 분리하는 것이 커넥트 API 사용 시의 장점이며, 이것이 종래의 컨슈머/프로듀서 API와는 다른 점이다. 카프카로부터 데이터를 읽어서 데이터베이스에 추가하는 코드를 작성하려면 대략 하루나 이틀 정도 걸리지만, 구성, 에러, REST API, 모니터링, 배포, 규모 확장/축소, 장애 등을 모두 처리하려면 수개월은 족히 소요된다는 것을 경험 있는 개발자라면 알 수 있을 것이다. 그러나 커넥터를 사용해서 데이터 복사를 구현할 때는 그런 복잡한 작업을 해주는 작업 프로세스에 우리 커넥터를 연결하면 된다.
(/ p.173)

한 브로커의 파티션 총계는 자주 변경되지 않는다. 브로커에게 할당된 파티션의 전체 개수이기 때문이다. 이것은 브로커가 각 파티션의 리더나 팔로어 중 어느 것이든 관계없이 그 브로커가 갖는 모든 리플리카 파티션을 포함한다. 토픽 자동 생성이 활성화된 클러스터에서는 이 메트릭을 모니터링하는 것이 더 중요하다. 왜냐하면 클러스터를 실행하는 사람의 제어 한계를 벗어나서 토픽이 생성될 수 있기 때문이다. 이 메트릭의 상세 내역은 표 10-8과 같다.
(/ p.259)

맥OS는 다윈(Darwin)을 기반으로 한다(다윈은 FreeBSD 등의 유닉스에서 파생된 오픈 소스 OS(운영체제)이다). 따라서 아파치 카프카와 같이 유닉스에 맞게 설계된 애플리케이션을 그리 어렵지 않게 설치할 수 있다. 설치 방법으로는 두 가지가 있다 Homebrew(홈브루)와 같은 패키지 매니저를 사용해서 간단하게 설치하는 방법과 자바 및 카프카를 직접 설치하는 방법이다.
(/ p.322)

저자소개

네하 나크헤데(Neha Narkhede) [저] 신작알림 SMS신청 작가DB보기
생년월일 -
출생지 -
출간도서 1종
판매수 77권

현재 아파치 카프카를 전문으로 서비스하는 컨플루언트(Confluent)의 공동 창업자이자 CTO다. 이전에는 링크드인(Linkedln)에서 아파치 카프카와 삼자(Samza) 기반의 스트리밍 기반 인프라스트럭처 구축을 담당하였다. 또한 대규모 분산 시스템 구축 및 확장 전문가이며, 아파치 카프카 초기 개발자 중 한 사람이다. 과거에는 오라클에서 데이터베이스 검색 관련 일을 하였으며, 조지아 공과대학교의 컴퓨터공학 석사 학위를 갖고 있다.

그웬 샤피라(Gwen Shapira) [저] 신작알림 SMS신청 작가DB보기
생년월일 -
출생지 -
출간도서 1종
판매수 77권

컨플루언트의 제품 담당 책임자이자 아파치 카프카 프로젝트의 PMC 멤버다. 아파치 플룸(Flume)과의 통합에 공헌하였고, 아파치 스쿱(Sqoop)의 커미터이기도 하다. 15년간의 확장 가능한 데이터 아키텍처 구축 경험이 있으며, 이전에는 클라우데라(Cloudera)의 소프트웨어 엔지니어, Pythian의 선임 컨설턴트, 오라클 ACE 이사, NoCOUG의 임원을 역임하였다.

토드 팔리노(Todd Palino) [저] 신작알림 SMS신청 작가DB보기
생년월일 -
출생지 -
출간도서 1종
판매수 77권

링크드인의 수석 엔지니어이며, 링크드인에 대규모로 구축된 아파치 카프카와 주키퍼 및 삼자 시스템의 운영 및 유지 관리를 맡고 있다. 또한 모니터링 시스템의 생성을 포함해서 아키텍처, 시스템 운영, 도구 개발 책임도 담당하고 있으며, 오픈 소스 프로젝트 버로우와 카프카 컨슈머 모니터링 도구의 개발자이기도 하다.

생년월일 -
출생지 -
출간도서 0종
판매수 0권

현재 프리랜서로, 데이터베이스/모바일 시스템 컨설팅과 강의를 하고 있다. 또한, 20년 넘게 데이터베이스와 객체지향 시스템 설계 및 개발 프로젝트와 건설/금융 분야 애플리케이션 개발 등에 참여했다. 새로운 테크놀로지와 다양한 프로그래밍 언어를 사용해서 실무에 활용하고 가르치는 것을 좋아한다. 저서로는 《핵심만 골라 배우는 코틀린 프로그래밍》이 있으며, 번역서로는 《핵심만 골라 배우는 안드로이드 스튜디오 3 & 프로그래밍》, 《실무에 적용하는 안드로이드 프로그래밍(제2판)》, 《Learn Android Studio》, 《SQLite 마스터북(제2판)》, 《프로 오브젝티브-C 디

펼쳐보기

이 책과 내용이 비슷한 책 ? 내용 유사도란? 이 도서가 가진 내용을 분석하여 기준 도서와 얼마나 많이 유사한 콘텐츠를 많이 가지고 있는가에 대한 비율입니다.

    리뷰

    0.0 (총 0건)

    구매 후 리뷰 작성 시, 북피니언 지수 최대 600점

    리뷰쓰기

    기대평

    작성시 유의사항

    평점
    0/200자
    등록하기

    기대평

    8.0

    교환/환불

    교환/환불 방법

    ‘마이페이지 > 취소/반품/교환/환불’ 에서 신청함, 1:1 문의 게시판 또는 고객센터(1577-2555) 이용 가능

    교환/환불 가능 기간

    고객변심은 출고완료 다음날부터 14일 까지만 교환/환불이 가능함

    교환/환불 비용

    고객변심 또는 구매착오의 경우에만 2,500원 택배비를 고객님이 부담함

    교환/환불 불가사유

    반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가할 수 있음
    배송된 상품의 분실, 상품포장이 훼손된 경우, 비닐랩핑된 상품의 비닐 개봉시 교환/반품이 불가능함

    소비자 피해보상

    소비자 피해보상의 분쟁처리 등에 관한 사항은 소비자분쟁해결기준(공정거래위원회 고시)에 따라 비해 보상 받을 수 있음
    교환/반품/보증조건 및 품질보증 기준은 소비자기본법에 따른 소비자 분쟁 해결 기준에 따라 피해를 보상 받을 수 있음

    기타

    도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 주문이 취소될 수 있음(이 경우 인터파크도서에서 고객님께 별도로 연락하여 고지함)

    배송안내

    • 인터파크 도서 상품은 택배로 배송되며, 출고완료 1~2일내 상품을 받아 보실 수 있습니다

    • 출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 상품을 기준으로 배송됩니다.

    • 군부대, 교도소 등 특정기관은 우체국 택배만 배송가능하여, 인터파크 외 타업체 배송상품인 경우 발송되지 않을 수 있습니다.

    • 배송비

    도서(중고도서 포함) 구매

    2,000원 (1만원이상 구매 시 무료배송)

    음반/DVD/잡지/만화 구매

    2,000원 (2만원이상 구매 시 무료배송)

    도서와 음반/DVD/잡지/만화/
    중고직배송상품을 함께 구매

    2,000원 (1만원이상 구매 시 무료배송)

    업체직접배송상품 구매

    업체별 상이한 배송비 적용