★ 이 책에서 다루는 내용 ★ ■ 최적화된 성능을 얻기 위한 아파치 카프카 1.0의 설치 및 설정 ■ 카프카 프로듀서와 컨슈머 제작 및 구성 ■ 미러링 기술을 활용해 카프카 클러스터를 효과적으로 운영 ■ 컨플루언트 플랫폼과 카프카 스트림을 다루고 고가용성을 지원하는 카프카 제작 ■ 갱글리아와 그래파이트 같은 도구로 카프카 모니터링 ■ 일래스틱서치, 로그스태시, 아파치 하둡, 아파치 스파크 등의 도구와 카프카 통합 ★ 이 책의 대상 독자 ★ 소프트웨어 개발자, 데이터 설계와 실용적인 카프카 레시피를 찾는 데이터 엔지니어를 위한 책이다. 전반부에서는 프로그래밍을 다루는데, 아파치 카프카에 대한 사전 지식이 없는 독자들을 위한 소개다. 후반부로 갈수록 난이도가 높아진다. 후반부에서는 기존의 아파치 카프카 시스템을 향상시키거나, 현재 설치된 카프카의 구성을 보다 잘 관리하고자 하는 독자들을 위한 고급 주제를 다룬다. ★ 옮긴이의 말 ★ 먼저 기업용 메시징 시스템 분야에서 겪은 경험이 풍부한 독자에게는 카프카를 포함한 다양하고 새로운 기술에 두려움을 갖지 말라는 메시지를 전하고 싶다. 이 책에 등장하는 메시지와 스트림을 처리하기 위해 사용하는 수많은 기술과 용어는 전혀 새로운 것이 아니다. 기존 용어가 조금씩 사라지고, 변화에 맞춰 기존 기술이 새 이름으로 대체된 것이다. 카프카는 약 15년 전부터 있던 메시징 시스템 개념에 여전히 충실하다. 새로운 도전이라는 긴 여정을 앞두고 있는 독자에게는 책의 어느 한 부분에 얽매이지 말라고 전하고 싶다. 분명 기업용 메시징 시스템은 어려운 주제다. 저자가 더욱 자세히 설명할 수도 있었겠지만, 광범위한 지식을 더 쉽고 자세하게 다루기는 어려웠을 것이다. 예를 들어 객체나 오브젝트를 말하면 다양한 속성을 가진 물건을 떠올리는 사람도 있을 것이고, 프로그램을 처음 배운 이는 클래스를 떠올릴 수도 있고, 숙련된 개발자 중에는 직접 만든 라이브러리를 머리에 그릴 수도 있다. 이렇게 사람들은 용어를 각자 다른 형태로 받아들인다. 처음부터 어떤 용어가 실제로 의미하는 모습으로 완벽하게 소화되기는 어렵지만, 여러 번 실습하고 그 결과를 전체적으로 보면 추상적인 단어도 결국 설명조차 필요 없는 개념이 된다.

1장. 카프카 구성하기 __소개 __카프카 설치 __카프카 실행 __카프카 브로커 설정 __카프카 토픽 설정 __메시지 콘솔 프로듀서 생성 __메시지 콘솔 컨슈머 생성 __브로커 설정 구성 __쓰레드와 성능 구성 __로그 설정 구성 __복제 설정 구성 __주키퍼 설정 구성 __기타 세부 파라미터 구성 2장. 카프카 클러스터 __소개 __단일 노드 - 단일 브로커 클러스터 구성: SNSB __SNSB: 토픽, 프로듀서, 컨슈머 생성하기 __단일 노드 - 다중 브로커 클러스터 구성: SNMB __SNMB: 토픽, 프로듀서, 컨슈머 생성하기 __다중 노드 - 다중 브로커 구성: MNMB 3장. 메시지 검사 __소개 __이벤트 모델링 __프로젝트 설정 __카프카에서 읽어오기 __카프카에 쓰기 __ProcessingApp 실행 __검사기 코딩 __검사기 실행 4장. 메시지 정보 확장 __소개 __지리적 위치 추출기 __지리적 위치 확장 __통화 금액 추출기 __통화 금액 확장 __통화 금액 확장기 실행 __이벤트 모델링 __프로젝트 설정 __날씨 정보 추출기 열기 __위치별 온도 확장 __위치별 온도 확장기 실행 5장. 컨플루언트 플랫폼 __소개 __컨플루언트 플랫폼 설치 __카프카 운영하기 __컨플루언트 컨트롤 센터 모니터링 __스키마 레지스트리 사용하기 __카프카 REST 프록시 사용하기 __카프카 커넥트 사용하기 6장 카프카 스트림 195 __소개 __프로젝트 설정하기 __스트리밍 애플리케이션 실행 7장. 카프카 관리 __소개 __컨슈머 그룹 관리 __로그 세그먼트 덤프 받기 __주키퍼 오프셋 가져오기 __GetOffsetShell 사용하기 __JMX 사용하기 __미러메이커 사용하기 __로그 프로듀서 재생 __상태 변경 로그 통합하기 8장. 카프카 운영 __소개 __토픽의 추가와 삭제 __메시지 토픽 수정 __정상 종료 수행 __리더십 조정 __클러스터 확장 __복제 팩터 추가 __브로커의 해제 __컨슈머 오프셋 위치 확인 9장. 모니터링과 보안 __소개 __서버 지표 모니터링 __프로듀서 지표 모니터링 __컨슈머 지표 모니터링 __그래파이트를 사용한 모니터링 __갱글리아를 사용한 모니터링 __SSL을 사용하는 인증 구현 __SASL/커버러스를 사용하는 인증 구현 10장. 써드파티 도구와의 통합 __소개 __플룸을 사용한 노드 간 데이터 이동 __고블린으로 HDFS 클러스터에 기록하기 __로그스태시로 카프카에서 일래스틱으로 데이터 이동하기 __스파크 스트림과 카프카 연결하기 __스톰으로 카프카에서 데이터 가져오기 __카프카 데이터를 일래스틱으로 푸시하기 __카프카에서 Solr 클라우드로 데이터 추가하기 __Akka로 카프카 프로듀서 제작하기 __Akka로 카프카 컨슈머 제작하기 __카산드라에 데이터 저장하기 __미소스에서 카프카 실행하기 __아파치 빔으로 카프카 읽기 __아파치 빔으로 카프카에 쓰기

1장, ‘카프카 구성하기’에서는 아파치 카프카를 시작하기 위한 기초 레시피를 설명한다. 카프카를 설치, 설정하고 실행하는 방법을 논의한다. 카프카 브로커(broker)의 기본 운영 방법도 논의한다. 2장, ‘카프카 클러스터’에서는 세 가지 유형의 클러스터 제작 방법을 다룬다. 세 가지 유형은 ‘단일 노드-단일 브로커 클러스터’, ‘단일 노드-다중 브로커 클러스터’, ‘다중 노드-다중 브로커 클러스터’다. 3장, ‘메시지 검사’에서는 엔터프라이즈 서비스 버스(ESB, Enterprise Service Bus)와 관련된 데이터 유효성의 검증 작업을 다룬다. 입력 메시지 스트림에서 일부 이벤트를 필터링하는 데이터 검증 프로그래밍을 알아본다. 4장, ‘메시지 정보 확장’에서는 ESB와 관련한 다음 작업으로 메시지 기능을 확장에 관한 내용을 다룬다. 메시지 기능 확장이란 개별 메시지를 확보하고, 메시지에서 추가 정보를 얻고, 메시지를 메시지 스트림에 포함시키는 것을 의미한다. 5장, ‘컨플루언트 플랫폼’에서는 컨플루언트 플랫폼을 사용해 카프카 시스템을 운영하고 모니터하는 방법을 보여준다. 스키마 레지스트리, 카프카 REST 프록시, 카프카 커넥트 사용 방법도 설명한다. 6장, ‘카프카 스트림’에서는 메시지 그룹 정보와 카프카 스트림을 사용하는 메시지 모음이나 구성 같은 추가 정보를 얻는 방법을 설명한다. 7장, ‘카프카 관리’에서는 카프카 클러스터를 디버깅, 테스트, 운영하는 시스템 관리자의 삶을 편리하게 하도록 카프카 저자가 개발한 명령줄 도구에 대해 이야기한다. 8장, ‘카프카 운영’에서는 카프카 클러스터에서 수행할 수 있는 다양한 운영 방법을 설명한다. 여기에서 다루는 도구는 일상적으로 쓰이지 않지만, 데브옵스(DevOps) 팀이 카프카 클러스터를 관리하는 데 도움을 준다. 9장, ‘모니터링과 보안’에서는 다양한 통계적 자료를 어떻게 표시하는지, 그리고 어떻게 그라파이트(Graphite)나 갱글리아(Ganglia) 같은 도구를 사용해 모니터할 수 있는지 이야기한다. 또한 보안에 대한 내용을 다루며 SSL 인증, SASL/커버러스 인증, SASL/plain 인증을 구현하는 방법을 알아본다. 10장, ‘써드파티 도구와의 통합’에서는 기타 실시간 데이터 처리 도구를 살펴보고 이 도구를 사용한 데이터 처리 파이프라인을 아파치 카프카로 만드는 방법을 이야기한다. 하둡, 플룸, 고블린, 일래스틱, 스파크, 스톰, 솔라(Solr), 아카, 카산드라, 미소스, 빔 등의 도구를 다룬다.