빅데이터 공부, 어디서부터 어떻게 시작해야 할까? 현업 전문가가 알려주는 패스트 트랙 하버드 경영대에서 21세기 가장 매력적인 직업으로 예상했던 데이터 사이언티스트의 전성시대가 도래했다. 거대 플랫폼 기업에서 공공기관, 각종 연구소, 중소 마케팅 업체까지 이제 기업 비즈니스의 빅데이터 활용은 상식이 되었다. 제품의 개발과 생산 프로세스, 유통, 마케팅 전 영역에 걸쳐 빅데이터의 쓰임이 커지면서 빅데이터 전문가의 몸값도 날로 상승 중이다. ‘2019년 SW 기술자 임금실태조사’에 따르면 데이터 분석가의 평균 연봉은 8,400만 원 정도였다. AI 빅데이터를 모델링할 수 있는 전문가의 경우는 연봉이 1억 이상을 훌쩍 넘어선다. 해외 전문가들의 대우는 더욱 좋다. 2019년 링크드인(LinkdIn)의 조사 결과에 따르면 AI 전문가의 평균 연봉은 약 1억 7,400만 원이고 데이터 과학자의 평균 연봉은 1억 5,900만 원이었다. 실리콘밸리의 경우 AI 전문가들의 연봉은 3억 원에 이른다. 최근 우리나라에서도 IT 개발자의 신입 연봉이 6,000만원에 달한다는 뉴스가 속속 들리고 있다. 이처럼 빅데이터 전문가가 각광 받으면서 취업을 준비하는 학생들뿐만 아니라, 30~40대 직장인들 사이에서도 빅데이터 공부 붐이 불고 있다. 하지만 교육기관 및 관련 커리큘럼의 부족으로 많은 사람들이 정보 획득과 공부에 어려움을 겪고 있다. 1년 전에 출간된 《1년 안에 AI 빅데이터 전문가가 되는 법(기본편)》은 이러한 사정을 반영하여 혼자서 빅데이터 공부를 할 수 있는 방법과 실제 현장의 이야기를 전달해 많은 독자들로부터 호응을 받았다. 이번에 출간된?1년 안에 AI 빅데이터 전문가가 되는 법 (심화편)?은 AI 빅데이터 전문가가 되기 위해 무엇을 공부해야 하는지 분야와 방법을 수학부터 알고리즘까지 자세하게 설명하였다. 빅데이터 전문가가 어떤 영역에서 실제로 처리하는 업무는 무엇인지, 정체된 실력을 한 번 더 업그레이드 할 수 있는 공부법도 보강하였다. 무엇보다 연구원, 중소 빅데이터 기업에서 다양한 분야의 빅데이터를 다뤄보고 현재 텍스트 마이닝에 강점을 가진 빅데이터 분석회사를 운영하고 있는 저자의 경험과 조언은 어떤 책에서도 볼 수 없는 살아있는 지식을 전달해준다. AI 빅데이터 전문가로 도약하는 공부 노하우 공개 많은 비전공자들이 AI 빅데이터 공부를 하러 학원을 찾는다. 하지만 대학과 학원 모두 AI 빅데이터 전문가를 양성하기에는 아직 부족한 점이 많다. 학원에서 교육하는 빅데이터 토이셋(toy set)을 분석하는 것만으로는 취업 시장에서 좋은 점수를 받기가 어렵다. 비정형 데이터의 전처리 과정에서부터 스스로 전문성을 키울 수 있는 방법을 찾아야 하지만, 데이터를 구하는 일부터 난관에 부딪힌다. 특히 입문자의 경우에는 업무 경험이 풍부한 전문가에 배울 수 있는 여건이 마련되어 있지 않은 상황이다. 이 책은 혼자서도 빠르고 효율적으로 공부할 수 있는 방법을 소개한다. 관련 책 독파하기, 자격시험 보기, 캐글 대회 도전하기, 연구 논문 읽기를 하면서 어떤 지식 위주로 습득해야 하는지, 어떤 알고리즘을 공부해야 하는지, 단계별로 자세하게 알려준다. 수리통계학과 선형대수학 공부부터 시작해 AI 빅데이터 분석의 기본이 되는 데이터 마이닝, 데이터 베이스, 관련 자격시험 등 빅데이터 공부의 흐름과 분야를 짚어주고 공부 노하우를 알려준다. 빅데이터에 관한 기초지식이 없는 비전공자도 이 책의 로드맵을 따라 어렵지 않게 빅데이터 전문가에 도전해 볼 수 있다. AI 빅데이터 공부는 단순히 수학이나 프로그래밍 공부만을 의미하지 않는다. 빅데이터 전문가에게는 비즈니스 현장의 문제를 인식하고 주어진 데이터로 어떻게 비즈니스 문제를 풀 것인가 고민하는 능력이 가장 필요하다. 저자는 매일 책, 논문, 신문을 읽고, 여기서 나온 모든 주제가 AI 빅데이터와 어떻게 접목될지 생각해보는 자세를 가져보라고 주문한다. 책에서 제시하는 AI 빅데이터 공부법은 프로그래밍 실력을 넘어 경영자적 관점에서 종합적인 문제해결력을 지닌 빅데이터 전문가로 성장하는데 초점을 맞춘다. 이 책에는 저자만의 공부 노하우가 가득하다. 실전 데이터 분석 연습을 위한 최적의 플랫폼이라 할 수 있는 캐글 대회를 어떻게 활용했는지, 논문 쓰기를 통해 자신의 전문성을 강화하고 주요한 알고리즘은 어떻게 정리해놓는지 알려준다. 한 번 더 자신의 실력을 업그레이드 할 수 있는 현실적인 방법을 담고 있어, 실력이 정체되어있거나 본격적으로 전문가의 길을 걷고자 결심한 독자들에게 커리어 설계를 위한 커다란 실마리가 되어줄 것이다. 지금 어느 위치에 있든 어떤 공부를 했든 AI 빅데이터 전문가가 될 수 있다! 그렇다면 AI 빅데이터 전문가가 되려면 이과 출신이어야 유리할까? 저자는 수학이나 통계를 더 깊게 배우는 이과가 조금 유리할 수는 있지만 꼭 이과여야 할 필요는 없다고 말한다. 실제로 문과 출신 AI 빅데이터 전문가도 매우 많은 편이다. 이미 문과나 이과 계열을 선택한 고등학생이든, 현재 어떤 전공을 선택해 대학교에 다니는 학생이든, 졸업 후 AI 빅데이터에 관심을 갖는 직장인이든 모두 다 도전해볼 수 있다는 것이다. 만약 이과 출신의 20대 중반 대학교 졸업생이 변호사, 회계사가 되려고 한다면 학부 과정에서 배우지 않았던 과목들을 거의 처음부터 다시 공부해야 한다. 비슷한 조건의 문과생들에 비해 큰 노력을 기울여야 할 것이다. 그러나 AI 빅데이터 전문가는 그렇지 않다. 당신이 지금 어느 위치에 있든 모두 도전해볼 수 있다. 물론 내가 공부한 학과에 따라 상대적으로 조금 더 유리한 위치에 있거나 조금 더 불리한 위치에 있을 수는 있지만, 법적으로 해당 과목을 무조건 이수해야 하는 것은 아니다. 전문직처럼 자격이 꼭 필요한 것도 아니고 무조건 전문대학원에 입학해야 하는 것이 아니므로 본인의 노력 여하에 따라 얼마든지 도전할 수 있다. 저자는 국내 대학교에서 AI 빅데이터 관련해서 제대로 가르치는 곳이 아직 많지 않으므로 처음 공부할 때의 출발점이 모두 같다고 생각하면 된다고 말한다. 아직 늦지 않았다. 지금이 AI 빅데이터 공부를 시작할 적기다. 다들 초급자라고 생각하고 지금 시작한다면 자신의 노력에 따라 전문가로 인정받을 수 있을 것이다.

머리말 PART 1 21세기 가장 핫한 직업 - AI 빅데이터 전문가 가장 높은 연봉을 받는 IT 개발 직군 AI 빅데이터 전문가에 도전하기 아직 전문가가 적은 블루오션 분야 PART 2 AI 빅데이터 공부 기본 빅데이터의 개념 인공지능의 개념 다양한 AI 빅데이터 활용 사례 AI 빅데이터 전문가가 하는 일 PART 3 AI 빅데이터 공부 시작하기 수리통계학과 선형대수학 데이터 마이닝 살펴보기 데이터베이스 이해하기 AI 빅데이터 관련 자격 시험 살펴보기 PART 4 AI 빅데이터 더 자세하게 공부하기 AI 빅데이터를 위한 프로그래밍 언어 인공지능의 핵심 딥러닝 인공지능 모델 서버 설정과 API 공부하기 논문 읽기 주력 분야를 설정하기 PART 5 AI 빅데이터 전문가로 도약하기 해외 학회지 논문 읽기 국내 학회지에 논문 기재하기 캐글 대회 도전하기 빅데이터 실무 경험하기 PART 6 AI 빅데이터의 주요 분야 추천 시스템 텍스트 마이닝 프로세스 마이닝 이상 탐지 이미지 처리 마치며 용어 설명 추천 도서

예를 들어 보자. 딥러닝(Deep Learning)의 핵심 개념인 신경망을 이용하는 모델 중 이미지 인식 프로그램을 만들 때 자주 사용하는 VGG16 이라는 것이 있다. 2014년에 이미지 인식을 위해 개발된 아주 유명한 모델이다(해당 분야를 처음 접하는 독자라면 그냥 VGG16이라는 꽤 유명하고 정확한 모델이 있구나라고 이해하자). 수학이나 통계를 잘 모르는 사람들은 아마 이미지 인식과 관련된 프로젝트에서 그냥 VGG16을 적용할 것이다. 심지어 다른 사람이 작성한 깃허브 코드를 그대로 복사 및 붙여넣기 해 프로그램을 실행하는 사람도 있을지 모른다. 이렇게 해도 이미지 인식 프로그램을 만들수는 있다._28쪽, AI 빅데이터 전문가에 도전하기 물론 AI 빅데이터 관련 프로젝트라고 해도 주력으로 개발하는 세부 분야가 다르다. 예를 들어 저자가 있었던 회사는 프로세스 마이닝, 이상 탐지, 텍스트 마이닝, 개인화 추천 서비스를 주력으로 개발했었다. 그럼 회사 직원은 주력으로 하는 분야에 크게 벗어나지 않는 선에서 다양한 프로젝트들을 경험할 수 있고 그 와중에 실력과 경력을 쌓을 수 있다. 따라서 처음에 취업을 고려할 때는 해당 회사의 주요 고객사를 살펴볼 필요가 있다. 예를 들어 회사의 주요 고객사가 통신사 계열이라면 이동 통신 데이터와 관련한 AI 빅데이터 프로젝트를 접할 기회가 많을 것이다. 즉, 특정 분야의 실력을 쌓고 싶다면 자신이 관심 있어 하는 분야의 고객사를 많이 둔 회사를 찾는 게 현명한 선택이다. _93쪽, AI 빅데이터 전문가가 하는 일 한번 자기만의 스타일이 잡히면 각 알고리즘마다 코드를 정리해놓고 새로운 프로젝트의 데이터마다 정리해놓은 코드를 하나씩 꺼내서 블록처럼 쌓으면 된다. 예를 들어서 나의 경우 텍스트 마이닝 관련한 알고리즘 코드를 하나씩 정리해둔다. 키워드분석, 감성분석, 네트워크 분석, 토픽모델링, 주요 문장 추출, 단어 임베딩, 문장 임베딩 등 자주 쓰이는 알고리즘들은 따로 나만의 코드로 각각 정리해둔다. 새로운 프로젝트마다 새 데이터를 받으면 내가 정리해놓은 코드를 하나씩 불러와 데이터 형태에 맞게 조금씩 바꾸어 결과를 산출해낸다. _223쪽, 주력 분야를 선정하기 텍스트 마이닝을 하기 위해서는 전처리가 굉장히 중요하다. 텍스트 전처리의 품질에 따라 딥러닝, 머신러닝 알고리즘을 적용한 결과가 달라지기 때문이다. 또한 언어마다 전처리 방법이 조금씩 다르기 때문에 언어별로 따로 익혀야 한다. 그렇다고 모든 언어를 다 알 필요는 없다. 나는 영어, 한국어 텍스트 전처리 방법만 익히고 있다. 그 외 언어는 분석할 일이 거의 없고 만약 그 외 언어를 분석할 일이 생기면 번역기를 통해 영어로 번역 후 영어 텍스트 마이닝 기법을 적용한다. _299쪽, 텍스트 마이닝