| 이 책에서 다루는 내용 | - 통계적 사고를 위해 데이터를 대하는 태도와 소양 - 일상 생활과 의사결정 과정에서 영향을 미치는 변동성 - 현업에서 통계와 분석 결과에 대해 적절한 의견을 제시할 수 있는 데이터 리터러시 역량 - 머신러닝, 텍스트 분석, 딥러닝, AI의 이면에 숨은 기본 원리와 지식 - 데이터를 분석하고 해석할 때 빠지기 쉬운 함정 - 프로젝트와 조직의 성공을 위해 데이터 리드가 해야 할 일 | 이 책의 대상 독자 | 초보 데이터 과학자, 데이터 분석가, 비즈니스 전문가, AI/머신러닝 엔지니어, 기업 경영진 등 누구나 재미있게 읽고 지식을 쌓을 수 있는 책이다. 특히, 데이터 분석가와 함께 일해야 하는 마케팅 전문가, 아직 데이터에 대해 잘 모르는 개발자, 직장인이나 연구자, AI 기술을 새로운 도입과 의사결정을 위해 데이터에 관해 좀 더 깊이 있는 지식이 필요한 C레벨 임원, 데이터 팀이나 조직을 이끌어야 하는 관리자라면 더욱 필요할 것이다. 데이터 분야에서 종사하고 싶거나 데이터 리드로 성장하고 싶은 모두가 읽어야 하는 책이다. | 이 책의 구성 | 1부, 데이터로 사고하고 리드하기 위한 첫 여정 1부에서는 데이터 리드의 관점으로 생각하는 방법을 다룬다. 조직에서 수행하는 데이터 프로젝트를 비판적으로 검토하고 적절한 질문을 제기하는 방법을 배운다. 데이터의 정의, 올바른 용어 사용, 통계적 관점으로 세상을 바라보는 방법을 살펴볼 것이다. 2부, 데이터를 대하는 태도, 확률과 통계 지식 데이터 리드는 데이터에 관한 중요한 토론에 적극적으로 참여한다. 2부에서는 데이터와 논쟁하는 방법과 업무에서 접하는 통계적 개념을 이해하기 위해 필요한 질문이 무엇인지 살펴본다. 데이터 분석 결과를 이해하거나 문제를 제기하기 위해 필요한 기초적인 통계와 확률 개념을 배울 것이다. 3부, 다양한 사례로 다시 배우는 머신러닝, 딥러닝, AI 지식 데이터 리드는 통계적 모델과 머신러닝 모델이 작동하는 기본 원리를 이해해야 한다. 비지도학습, 회귀, 분류, 텍스트 분석, 딥러닝에 대해 직관적으로 이해할 수 있게 될 것이다. 4부, 프로젝트와 조직의 성공을 위해 데이터 리드가 할 일 데이터 리드는 데이터 관련 업무를 수행할 때 흔히 저지르는 실수나 빠지기 쉬운 함정이 무엇인지를 알고 있어야 한다. 조직과 프로젝트를 실패로 이끄는 기술적인 함정에 대해 살펴보고, 데이터 프로젝트에 참여하는 사람들과 그들의 성향을 알아본다. 마지막으로, 데이터 리드로 성공하기 위한 방향을 제시할 것이다. | 추천사 이어서| 저자들은 불필요한 내용을 걷어 내고 복잡한 데이터와 통계 개념을 쉬운 예제와 적절한 비유로 풀어 설명한다. 이 책 덕분에 나는 팀에 필요한 데이터와 정보를 조직에 적합한 실질적인 비즈니스 요구사항으로 전환할 수 있었다. 비즈니스 기회를 얻고 데이터 팀을 성장시키고 싶다면 꼭 읽어보길 추천한다. - 저스틴 모러(Justin Maurer) / 구글의 데이터 과학 및 엔지니어링 팀 관리자 15년 경력의 항공우주 엔지니어인 나는 이 책을 읽고 난 후 데이터 과학에 대한 기초 지식은 물론이고 데이터 기반 업무 환경을 조성하기 위한 전문지식도 알게 됐다. 이 책에서는 AI 등 자주 남용되는 용어를 적절히 걸러서 받아들이는 방법도 알려준다. 데이터 과학이라는 피할 수 없는 미래를 탐색해 보려는 중간 관리자가 있다면 반드시 읽어야 할 책이다. - 조시 키너(Josh Keener) / 항공우주 엔지니어, 프로그램 매니저 데이터 과학을 잘 이해하고 싶은 고위 경영진에게 딱 들어맞는 필독서다. - 케이드 사이에(Cade Saie) 박사 / 최고 데이터 책임자(CDO) 저자들은 독자들에게 올바른 질문을 제기하고 통계적 가설을 검토하며 실수를 피하는 방법에 관해 실용적인 조언을 건넨다. 데이터 과학에 대해 빠짐없이 설명하면서도 방대한 내용 속에서 길을 잃지 않도록 균형을 잘 잡아준다. 분석가, 데이터 과학자, 관리자, 경영진, 그리고 데이터 과학을 더 깊이 이해하려는 모든 사람에게 또 하나의 유용한 도구가 될 것이다. - 제프 비알락(Jeff Bialac) / 크로거(Kroger)의 수석 공급망 분석가 저자들은 응용 통계학자와 데이터 과학자, 심지어 고위 경영진과 기술 전문가 모두에게 유용한 책을 내놓았다. 복잡한 통계 개념을 이해하기 쉽게 풀어 설명하며, 데이터 업무와 비즈니스 가치 사이에 오래된 간극을 이어주는 공통의 언어를 창조했다. - 캐슬린 메일리(Kathleen Maley) / 데이터줌(datazuum)의 최고 분석 책임자 [옮긴이의 말] 지금껏 나는 많은 데이터 관련 책을 읽고, 공부하고, 때로는 번역서를 출간하기도 했는데, 이 책은 번역서가 아니라 내가 집필한 책이라면 정말 좋았겠다는 욕심이 날 만큼 대단한 물건이었다. 처음 원서를 받고 장 제목 위주로 쑥 내용을 훑어보았을 때는 ‘내용이 너무 쉬운 거 아닌가?’ 하는 생각이 들었지만 번역을 위해 본격적으로 한 문장씩 내용을 음미하며 읽어나가기 시작한 순간부터 마지막 장이 끝날 때까지, 저자들이 설정한 책의 기획 의도에 맞게 저술하기 위해 들인 노력, 그리고 데이터 분석과 통계에 관한 그들의 깊은 내공에 감탄을 멈출 수 없었다. 흔히 “쉽게 쓰는 것이 가장 어렵다”고들 말한다. 그동안 이 말에 대해 이성적으로는 동의하고 있었지만 정확한 사례를 경험한 적은 거의 없었는데, 이 책을 읽고 나서야 저 말의 진정한 표본을 만났다고 느꼈다. ‘쉽게 쓸 수 있다’는 것은 글쓴이가 관련 내용의 핵심과 논리를 완벽하게 꿰뚫고 있다는 의미며 그럼으로써 쉬우면서도 명쾌하고 논리적인 글이 나올 수 있다. 이 책은 어려울 수도 있는 데이터 분석과 통계에 대해 딱 필요한 만큼의 깊이와 범위를 다룬다. 이 분야를 전공으로 삼으려는 사람들에게 입문서로도 좋지만, 기술적인 분야에 대해 너무 깊이 알 필요는 없지만 데이터 분석가와 의사소통이 가능한 수준까지는 관련 지식을 쌓고 싶은 일반인들에게는 정말 도움이 될 것 같다. 일반 교양서와 본격적인 기술서 사이의 경계선에서 절묘하게 줄타기를 하는 무척 신기한 책이다. 특히 요즘처럼 AI가 급속도로 대중화되고 있는 시대야말로, AI를 동작시키는 원료인 데이터의 ‘본질’에 집중할 필요가 있다. 오늘날 AI에 대해 설명하는 수많은 책과 글이 넘쳐나지만 AI를 가장 정확하게 이해하는 길은 ‘데이터에 기반한 통계적 사고’가 어떻게 AI까지 진화했는지 그 흐름을 쫓아가보는 것이다. 그런 면에서 이 책은 AI 시대를 살아가는 일반 대중에게 첫 교과서와 같은 역할을 할 수 있지 않을까 기대한다. 책 내용 중 기술적인 부분은 내가 이미 잘 알고 있는 분야이기도 하고 너무 깊이 다루지는 않기 때문에 저자들이 원서에서 주장하는 내용과 메시지를 쉽게 이해할 수 있었지만 문제는 한글로 번역하는 과정이었다. 하나의 문장과 하나의 단락에서 다루는 내용이 밀도가 높고 의미가 압축되어 있어 문장 자체는 쉽지만 원서의 정확한 의미와 미묘한 뉘앙스를 한글 문장으로 바꾸기 위해서 많은 고민과 시간이 필요했다. 유행이 지난 말이긴 하지만 정말 ‘한 땀 한 땀’ 시간과 공을 들여 번역해 나갈 수밖에 없었다. 고백하건대, 지금껏 나는 교양서와 기술서 사이에서 정확하게 균형을 잡는 좋은 책을 직접 쓰고 싶다는 열망이 가득했다. 하지만 이 책을 번역하는 과정에서 이미 그런 책이 출간되어 있었다는 실망감과 함께, 한편으로는 이렇게 좋은 책을 발견해 번역을 맡게 되었다는 기쁨을 동시에 느낄 수 있었다. 그만큼 훌륭한 책이며 많은 분에게 자신 있게 추천할 수 있는 책이다. - 최재원 수십 년간 재료공학도로 살아오면서 나는 학위 과정까지 여러 재료공학적 현상을 연구하고 분석하기 바빴다. 학위 취득 후 반도체 업계에서 일하기 시작했을 때, 그간 다루던 재료공학적 관점 이외에 여러 가지 품질 관리 기법 및 신뢰성 분석을 위한 모델 해석 등 통계적 개념을 접하게 됐다. 기업에는 제품의 품질과 수명을 개선해 이윤을 남겨야 하는 숙명이 있기에 필수 불가결한 것이었다. 하지만 여전히 머리를 맴도는 생각이 있었다. 재료공학에서 다루는 현상들을 완벽히 이해한다면, 이러한 통계적 접근은 최소화할 수 있을 뿐만 아니라 어쩌면 필요하지도 않을 것 같았다. 지금 돌이켜 보면, 그보다는 아마도 통계적 접근과 응용을 아예 외면하고 싶었던 것은 아니었을까 한다. 내가 그간 집중해 왔던 재료공학을 비롯한 과학이나 공학의 대부분은, 원인과 결과를 명확히 밝히는 인과관계의 탐구 과정이었다. 그러던 중 AI 시대가 도래하고 반도체를 포함한 모든 분야에 응용되기 시작했다. 이에 나는 통계 분야의 고전적인 데이터 개념과 AI에서 다루는 데이터가 도대체 무엇이 다른 건지 궁금해질 수밖에 없었다. 이러한 막연한 호기심에 수많은 논문과 책을 뒤지고, 인터넷의 바다도 헤매고 다녔었다. 나 같은 일반 연구자들을 위해 코딩이나 복잡한 통계 수식 없이, 장밋빛 미래만 이야기하지는 않으며, 핵심만 콕 짚어주는 ‘흙 속의 진주’ 같은 책이 혹시 있지 않을까? 나와 비슷한 궁금증을 지닌 사람들을 위해 책을 집필한 저자들이 있을까? 실로, 이 인연은 존재했다! 바로 이 책의 원서 『Becoming a Data Head』였다. 어렵사리 찾아낸 이 진주는 영어 책이었지만 어찌나 재미있게 읽히던지 그 느낌이 지금도 생생하다. 이 책의 저자들은 내가 궁금해 했던 모든 것을 사랑방에서 이야기하듯 술술 풀어나가는 이야기꾼이었고, 책을 읽다 보니 통계와 데이터에 대한 수십 년 묵은 근본적 의문이 일거에 해결되는 느낌이었다. 기술적 난제를 비롯한 삼라만상 중 인과관계를 정확히 알 수 있는 것이 대체 몇 개나 되겠는가? 그렇기 때문에 통계에서 출발해 딥러닝과 AI가 열어준 데이터의 세계에 대한 이해가 필요한 것이었다. 이 책의 또 하나 놀라운 점은 일반 엔지니어나 연구자뿐 아니라, 기업 경영자나 관리자가 기업의 비즈니스 성공을 위해 데이터를 어떻게 바라보고 활용해야 하는지까지 여러 비유를 들어 다양하게 비춰주고 있다는 점이다. 아무쪼록 여러 분야의 독자들이 이 책이 가져다 줄 데이터에 대한 깨달음의 기쁨이 함께 하길 빌며 이 글을 마치고자 한다. - 장진욱

[1부] 데이터로 사고하고 리드하기 위한 첫 여정 1장 무엇이 문제일까 _데이터 리드라면 반드시 물어야 할 질문들 ___이 문제는 왜 중요한가 ___이 문제는 누구에게 영향을 미치는가 ___적절한 데이터가 없을 경우 어떻게 해야 할까 ___프로젝트는 언제 종료되는가 ___결과가 만족스럽지 못할 경우 어떻게 해야 할까 _데이터 프로젝트는 왜 실패했을까 ___고객 인식도 ___생각해 볼 사항 _중요한 문제에 집중하자 _정리 2장 데이터란 무엇인가 _데이터 vs 정보 ___데이터셋 예시 _데이터 유형 _데이터는 어떻게 수집되고 정형화되는가 ___관측 데이터 vs 실험 데이터 ___정형 데이터 vs 비정형 데이터 _기본적인 요약 통계량 _정리 3장 통계적 사고를 위한 준비를 갖추자 _질문을 하자 _모든 것에는 변동성이 있다 ___고객 인식도 시나리오(후속편) ___사례 연구: 신장암 발병률 _확률과 통계 ___확률 vs 직관 ___통계학을 활용한 발견 _정리 [2부] 데이터를 대하는 태도, 확률과 통계 지식 4장 데이터와 논쟁하자 _여러분이라면 어떻게 했을까 ___누락된 데이터가 초래한 재앙 _데이터의 근원을 확인하자 ___누가 데이터를 수집했는가 ___데이터는 어떤 방식으로 수집됐나 _데이터에 대표성이 있는가 ___표본 추출에 편향이 있었는가 ___이상값을 어떻게 처리했는가 _확인하지 않은 데이터는 무엇인가 ___어떤 방법으로 결측값을 처리했는가 ___측정하려는 개념을 측정할 수 있는 데이터인가 _크기를 막론하고 모든 데이터와 논쟁하자 _정리 5장 데이터를 탐색하자 _데이터 리드의 탐색적 데이터 분석 _탐색적 사고의 필요성 __어떤 질문을 해야 할까 ___가상 시나리오 _데이터는 여러분의 질문에 답할 수 있는가 ___기대치를 설정하고 상식적으로 생각하자 ___직관적으로 이해할 수 있는 데이터 값인가 ___이상값과 결측값을 잘 관리하라 _데이터에서 어떤 관계성이 보이는가 ___상관관계를 이해하자 ___상관관계를 오해하지 않도록 주의하자 ___상관관계가 인과관계를 의미하지는 않는다 _데이터에서 새로운 탐색 기회를 찾았는가 _정리 6장 확률이란 무엇인가 _추측해 보자 _게임의 법칙 ___수학적 표기 ___조건부 확률과 독립 사건 ___여러 사건의 발생 확률 ___동시에 발생하는 두 사건 _확률에 대한 사고 실험 ___확률에 대한 3가지 체크 포인트 _사건들이 서로 독립이라 가정할 때는 주의해야 한다 ___도박꾼의 오류에 빠지지 말자 _모든 확률은 조건부 확률임을 인지하자 ___의존 관계를 바꾸지 말자 ___베이즈 정리 _의미가 있는 확률인지를 반드시 확인한다 ___보정 ___가능성이 희박해도 사건은 일어난다 _정리 7장 통계에 도전하자 _통계적 추론이란 ___오차의 여지를 남기자 ___데이터가 많아질수록 증거도 늘어난다 ___현재 상황에 의문을 제기하자 ___현 상황에 반하는 증거가 있는가 ___판단 오류 균형 잡기 _통계적 추론 과정 _통계 분석 결과를 검증하기 위해 필요한 질문 ___어떤 맥락에서 나온 통계 분석 결과인가 ___표본의 크기는 얼마인가 ___무엇을 검증하는가 ___귀무가설은 무엇인가 ___유의 수준은 얼마인가 ___얼마나 많이 검증했는가 ___신뢰 구간을 제시할 수 있는가 ___실제적으로 의미 있는 결과인가 ___인과 관계를 가정하고 있는가 _정리 [3부] 다양한 사례로 다시 배우는 머신러닝, 딥러닝, AI 지식 8장 데이터에 감춰진 패턴과 그룹을 찾는 머신러닝 _비지도학습이란 _차원 축소 ___복합 변수 만들기 _주성분 분석 ___운동 능력 데이터의 주성분 ___주성분 분석 요약 ___주의해야 할 함정 _군집분석 _k-평균 군집분석 ___소매점 군집분석 ___주의해야 할 함정 _정리 9장 미래를 예측하고 현상을 설명하는 회귀 모델 _지도학습 _선형 회귀는 무슨 일을 할까 ___최소 제곱 회귀(단순히 이름만 기발한 것은 아니다) _선형 회귀에서 알 수 있는 것 ___더 많은 변수를 투입할 때 _선형 회귀가 야기하는 혼란 ___누락된 변수들 ___다중공선성 ___데이터 누수 ___외삽 오류 ___대부분의 관계는 선형적이지 않다 ___설명할 것인가, 예측할 것인가 ___회귀 모델의 성능 _그 밖의 회귀 모델 _정리 10장 판단의 기준을 파악할 수 있는 분류 모델 _분류 문제란 무엇일까 ___분류 모델의 3가지 방법 ___분류 문제 설정 _로지스틱 회귀 ___로지스틱 회귀의 장점 _의사결정나무 _앙상블 모델 ___랜덤 포레스트 ___그래디언트 부스트 트리 ___앙상블 모델의 설명력 _흔히 빠지기 쉬운 함정에 주의하자 ___데이터 유형에 맞지 않는 모델 적용 ___데이터 누수 ___모델 구축과 테스트를 위한 데이터셋 분할 ___의사결정을 위한 적절한 임곗값 선택 _정확도에 대한 오해 ___혼동 행렬 _정리 11장 글 속에 담긴 주제와 감성을 찾아내는 텍스트 분석 _텍스트 분석에 대한 기대 _텍스트를 숫자로 바꾸는 방법 ___단어 가방 ___N그램 ___단어 임베딩 _토픽 모델링 _텍스트 분류 ___나이브 베이즈 ___감성 분석 _텍스트 분석에서 고려해야 할 실용적인 문제 ___빅테크 기업의 기술적 우위 _정리 12장 데이터 리드라면 알아야 할 딥러닝과 AI _신경망 모델 ___신경망은 어떤 면에서 사람의 뇌와 비슷할까 ___간단한 신경망 모델 ___신경망이 학습하는 방법 ___조금 더 복잡한 신경망 _딥러닝 응용 사례 ___딥러닝의 장점 ___컴퓨터가 이미지를 ‘보는’ 방법 ___합성곱 신경망 ___언어 처리와 순차 데이터에 활용되는 딥러닝 _딥러닝의 실제 활용 현황 ___데이터는 충분한가? ___데이터가 구조화되어 있는가 ___신경망은 어떤 모습일까 _AI를 대하는 관점 ___빅테크 기업의 유리한 위치 ___딥러닝의 윤리적 문제 _정리 [4부] 프로젝트와 조직의 성공을 위해 데이터 리드가 할 일 13장 호시탐탐 곳곳에 도사린 실패와 함정 _데이터의 편향과 기묘한 현상 ___생존 편향 ___평균으로의 회귀 ___심슨의 역설 ___확증 편향 ___매몰비용 오류 ___알고리즘 편향 ___그 밖의 편향 _데이터 프로젝트의 대표적인 함정 ___통계와 머신러닝 함정 ___프로젝트 함정 _정리 14장 조직 구성원의 다양한 성향을 파악하자 _의사소통이 중단되는 7가지 상황 ___사후 약방문 ___알맹이 없는 발표 ___부정확한 정보의 확산 ___수렁 속으로 ___리얼리티 체크 ___권력 장악 ___허풍쟁이.. _데이터를 대하는 사람들의 3가지 태도 ___데이터 맹신자 ___데이터 비관론자 ___데이터 리드 _정리 15장 더 높은 곳을 향해

바로, 불확실한 세상에서 확실성을 약속하고 기회를 놓칠지 모른다는 기업의 두려움을 이용하는 산업이다. 우리는 이를 ‘데이터 과학 비즈니스’라고 부른다. __p38 날마다 주식 시장은 출렁이고, 정치 여론조사 결과 또한 매주 바뀌며(조사기관에 따라 바뀌기도 한다), 휘발유 가격은 요동치고, 혈압을 의사 앞에서 측정하면 치솟아도 간호사 앞에서 재면 정상이다. 여러분의 출근길 또한 초 단위로 나눠 측정한다면 교통상황, 날씨, 자녀 등교, 모닝커피 테이크아웃 등 여러 상황에 따라 날마다 조금씩 다를 것이다. 세상 모든 것에는 변동성이 있다. 이런 현상을 여러분은 얼마만큼 편안하게 받아들일까? __p91 카지노에서는 구슬이 담긴 가방이 세심하게 설계되며 지속적으로 표본을 추출할 수 있다. 그러나 정치인들은 선거 당일 모든 구슬(즉 투표 결과)이 드러나기 전까지는 가방 안에 무엇이 들어 있는지 절대로 알 수 없다. __p99 어떤 정치인의 지지율을 확인할 때 특정 정당 지지자 대상으로만 설문조사를 한다면 그렇게 수집한 데이터에는 표집 편향이 발생한다. 잘 설계된 실험이어야만 잠재적인 표집 편향의 위험을 낮출 수 있다. __p121 어린아이도 동전 던지기 확률이 50 대 50인 것을 알고 있지만 2016년 대선은 여론조사 업계 전체가 테라바이트급 대규모 데이터를 분석했음에도 결과를 예측하기가 어려웠다. __p149 어떤 채무자가 빚을 갚지 못할 사건은 그들의 이웃이 빚을 갚지 못할 사건과 서로 독립이지 않지만 오랫동안 월스트리트 금융가는 이런 사실을 간과했다. 두 사건 모두 본질적으로 전 세계의 경제 상황과 얽혀 있다. __p158 잘못된 독립성 가정으로 인해 다음 해 프로젝트가 모두 실패할 가능성은 과소평가되고 결과적으로 적어도 하나의 프로젝트가 성공할 가능성은 과대평가됐다. 2008년 금융 위기와 연이은 경기 침체에서 보듯 독립성 가정의 중요성을 잊어서는 안 된다. __p159 컴퓨터는 사람처럼 언어를 이해할 수 없으며 컴퓨터에게 언어는 그저 숫자일 뿐이라는 사실을 확실히 이해했기를 바란다. 이 사실을 아는 것만으로도 엄청난 가치가 있다고 생각한다. 텍스트가 숫자로 변환되는 과정에서 인간이 단어와 문장에 부여한 의미가 일부 제거된다는 사실만 잘 파악해도, 텍스트와 관련된 모든 비즈니스 문제를 AI가 전부 해결할 수 있다는 마케팅 문구에는 결코 속지 않게 될 것이다. __p284 알고리즘 편향은 아무리 선의를 지니더라도(혹은 중립적이라도) 어디서나 발생할 수 있음은 물론, 이미 발생하고 있음에 유의하라. 어떤 모델의 예측도 최종적인 진실을 알려주지는 못한다. 모델을 이용한 모든 결과는 가정의 산물이기 때문이다. __p321 데이터 비관론자에게는 자신의 사적인 경험이 데이터 과학이나 통계학, 머신러닝보다도 더 중요하다. 따라서 그들은 데이터 작업자들의 역할에 냉소를 보낸다. 이들은 데이터를 성가시지만 불가피한 요소쯤으로 여기며 직관을 선호한다. 결과가 마음에 안 들면 건설적 비판보다는 세부사항을 과도하게 강조하면서 허점을 찾아내기에 급급해한다. 그들은 왜 이렇게 냉소적인지 한번 생각해 보자. __p338