★ 이 책에서 다루는 내용 ★ ■ 텐서플로 2와 케라스 API를 사용해 머신러닝과 딥러닝 시스템 구축 ■ 머신러닝에서 가장 보편적인 기법인 회귀분석 ■ 컨볼루션 신경망의 이해와 이미지 분류에 딥러닝 시스템 적용 ■ GAN을 사용해 기존 패턴에 적합한 새로운 데이터 생성 ■ 시퀀스 일부가 다른 시퀀스를 해석해 입력 시퀀스를 처리할 수 있는 RNN ■ 자연어와 자연어 번역에 딥러닝을 적용해 적절한 반응 생성 ■ 클라우드에서 모델을 훈련하고 실제 환경에 TF 적용 ■ 구글 툴이 단순한 머신러닝 워크플로우를 복잡한 모델링 없이도 자동화 하는 것을 탐색 ★ 이 책의 대상 독자 ★ 머신러닝에 경험이 있는 데이터 과학자이거나 신경망을 알고 있는 AI 프로그래머라면 이 책이 텐서플로 2.0을 사용해 딥러닝을 다루는 유용한 진입점이 될 것이다. 딥러닝 쓰나미에 대한 관심을 키워가는 소프트웨어 엔지니어에게 지식을 넓힐 수 있는 기반이 될 것이다. 이 책을 읽으려면 파이썬 기본 지식이 필요하다. ★ 이 책의 구성 ★ 이 책의 목적은 텐서플로 2.0의 특징과 라이브러리를 설명하고, 지도 및 비지도 머신러닝 모델의 개요를 제공하며, 딥러닝과 머신러닝 모델에 대한 포괄적인 분석을 제공하는 것이다. 클라우드, 모바일, 대규모 운영 환경에 대한 실사례가 책 전반에 걸쳐 제공된다. 1장, ‘텐서플로 2.0으로 신경망 구성’에서는 신경망을 단계별로 소개한다. 텐서플로 2의 tf.keras 계층을 사용해 간단한 신경망 모델을 만드는 방법을 배운다. 퍼셉트론, 다층 퍼셉트론, 활성화 함수와 밀집 신경망을 설명하고 마지막으로 역전파의 직관을 소개한다. 2장, ‘텐서플로 1.x와 2.x’에서는 텐서플로 1.x와 텐서플로 2.0 프로그래밍 모델을 비교한다. 텐서플로 1.x 하위레벨 계산 그래프 API를 사용하는 방법과 tf.keras 고급 API를 사용하는 방법을 학습한다. 즉시 계산(eager computation), 오토그래프(Autograph), tf.Datasets와 같은 새로운 기능과 분산 훈련을 설명한다. tf.keras와 추정기 사이의 간략한 비교와 함께 tf.keras와 케라스를 비교 설명한다. 3장, ‘회귀’에서는 가장 인기 있는 머신러닝 기술인 회귀에 초점을 맞춘다. 텐서플로 2.0 추정기를 사용해 단순 및 다중 회귀 모형을 작성하는 방법을 배운다. 4장, ‘컨볼루션 신경망’에서는 컨볼루션 신경망(CNN, Convolutional Neural Networks) 및 이미지 처리의 응용을 소개한다. 텐서플로 2.0을 사용해 MNIST 데이터셋에서 필기체 문자를 인식하는 간단한 CNN을 작성하는 방법과 CIFAR 이미지를 분류하는 방법을 알아본다. 또한 VG6과 인셉션(Inception) 같은 사전 훈련된 신경망을 사용하는 방법을 살펴본다. 5장, ‘고급 컨볼루션 신경망’에서는 CNN을 이미지, 비디오, 오디오, 텍스트 처리에 적용하는 고급 응용 기법을 알아본다. 이미지 처리(전이학습(Transfer Learning), DeepDream), 음성 처리(WaveNet)와 텍스트 처리(감정 분석, 질문&답변(Q&A))를 예로 자세히 설명한다. 6장, ‘생성적 적대 신경망’에서는 최근에 발견된 생성적 적대 신경망(GAN, Generative Adversarial Networks)에 중점을 둔다. 먼저 최초로 제안된 GAN 모델을 살펴보고 MNIST 숫자를 만드는 데 사용한다. 심층 컨볼루션 GAN을 사용해 연예인 이미지를 만든다. 또한 SRGAN, InfoGAN, CycleGAN과 같은 다양한 GAN 아키텍처를 설명하고 GAN의 여러 응용 방법을 설명한다. 마지막으로 겨울-여름 이미지를 변환하고자 텐서플로 2.0에 구현된 CycleGAN을 사용하는 방법을 알아본다. 7장, ‘단어 임베딩’에서는 Word2vec과 GloVe라는 널리 알려진 두 가지 임베딩으로 워드 임베딩을 설명한다. 두 가지 임베딩의 핵심 아이디어와 이를 자신의 말뭉치(corpus)에서 생성하는 방법, 자연어 처리(NLP, Natural Language Processing)를 응용하고자 자신의 신경망에서 사용하는 방법을 다룬다. 그런 다음 단어 대신 문자 트라이그램(trigram)(fastText) 사용, 정적 임베딩을 신경망으로 대체해 단어 내용 유지(ELMO, Google Universal Sentence Encoder), 문장 임베딩(InferSent, SkipThoughts), 임베딩에 사전 훈련된 언어 모델 사용(ULMFit, BERT)과 같은 기본 임베딩 방법의 다양한 확장을 다룬다. 8장, ‘순환 신경망’에서는 순환 신경망(RNN, Recurrent Neural Networks)의 기본 아키텍처와 NLP 등에 있는 시퀀스 학습 작업에 어떻게 적합하게 사용되는지 설명한다. 여기에는 다양한 유형의 RNN, LSTM, 게이트 순환 신경망(GRU, Gated Recurrent Unit), GRU 핍홀(Peephole) LSTM과 양방향 LSTM 등이 있다. RNN을 언어 모델로 사용하는 방법은 좀 더 자세히 설명한다. 그런 다음 컴퓨터 변환에 처음 사용된 RNN 기반의 인코더-디코더 아키텍처의 일종인 seq2seq 모델을 다룬다. 그 후 어텐션(attention) 기법을 통해 seq2seq 아키텍처의 성능을 강화시키는 방법을 설명하고, 마지막으로 〈주의력이 전부다(Attention is all you need)〉라는 논문에 기반을 둔 변환기(Transformer) 아키텍처(BERT, GPT-2)를 설명한다. 9장, ‘오토인코더’에서는 입력을 목표로 재생성하려는 신경망 부류인 오토인코더를 설명한다. 희소(sparse) 오토인코더, 컨볼루션 오토인코더, 노이즈 제거 오토인코더와 같은 다양한 종류의 오토인코더를 다룬다. 노이즈 제거 오토인코더를 훈련시켜 입력 이미지에서 노이즈를 제거한다. 오토인코더를 사용해 MNIST 숫자를 만드는 방법도 보여준다. 마지막으로 문장 벡터를 생성하고자 LSTM 오토인코더를 구축하는 단계도 다룬다. 10장, ‘비지도학습’에서는 비지도학습 모델을 알아본다. PCA, k-평균과 자체 구성(self-organized) 맵과 같은 군집화와 차원 축소에 필요한 기술을 소개한다. 텐서플로를 사용해 볼츠만 머신(Boltzmann Machines)의 세부 사항과 구현을 알아본다. 여기서 설명한 개념은 제한된 볼츠만 머신(RBM, Restricted Boltzmann Machine)을 구축하고자 확장된다. 11장, ‘강화학습’에서는 강화학습에 초점을 맞춘다. 먼저 Q 러닝 알고리즘으로 시작한다. 벨만포드(Bellman Ford) 방정식으로 시작해 할인 보상, 탐색과 개발, 할인 요인과 같은 개념을 설명한다. 또한 정책 기반과 모델 기반의 강화학습을 설명한다. 마지막으로 아타리(Atari) 게임에서 심층 Q 러닝(Q-learning) 신경망(DQN, Deep Q-learning Network)을 구축한다. 12장, ‘텐서플로와 클라우드’에서는 클라우드 환경과 이를 활용해 모델을 교육하고 배포하는 방법을 설명한다. 딥러닝용 AWS(Amazon Web Services)를 설정하는 데 필요한 단계도 알아본다. 또한 딥러닝 애플리케이션용 구글 클라우드 플랫폼을 설정하는 데 필요한 단계를 다루고, 딥러닝 애플리케이션을 위해 마이크로소프트 애저(Azure)를 설정하는 방법도 설명한다. 클라우드에서 주피터 노트북(Jupyter Notebook)을 직접 실행할 수 있는 다양한 클라우드 서비스도 설명한다. 마지막으로 텐서플로 익스텐디드(Extended)를 소개하며 마무리한다. 13장, ‘모바일, IoT, 텐서플로.js용 텐서플로’에서는 모바일 장비와 IoT에서 텐서플로 라이트(Lite)를 사용하는 방법과 안드로이드 장비에서 실제로 애플리케이션을 배치하는 방법을 다룬다. 또한 수천 개의 모바일 장비에서 분산 학습하는 연합학습(federated learning)도 알아본다. 14장, ‘AutoML’에서는 흥미로운 AutoML 분야를 소개한다. 자동 데이터 준비, 자동 특징 엔지니어링, 자동 모델 생성을 설명한다. 또한 테이블, 비전, 텍스트, 번역, 비디오 처리용 다양한 솔루션을 갖춘 AutoKeras와 구글 클라우드 플랫폼 AutoML을 소개한다. 15장, ‘딥러닝 배경 수학’에서는 딥러닝의 기초 수학을 설명한다. 딥러닝을 수행할 때 내부에서는 어떤 일이 벌어지고 있는지 살펴본다. 먼저 딥러닝 프로그래밍과 역전파의 기원에 관한 간략한 역사로 시작한다. 다음으로 개념 이해에 도움이 될 수학적 도구와 미분을 소개한다. 나머지 부분은 역전파와 CNN, RNN 내의 일부 애플리케이션을 자세히 설명한다. 16장, TPU에서는 신경망 수학 연산의 초고속 실행을 위해 구글에서 개발한 특수 칩인 TPU(Tensor Processing Unit)를 소개한다. CPU와 GPU를 3세대 TPU와 에지(Edge) TPU와 비교한다. 또한 TPU 사용에 대한 코드 예를 보여준다. ★ 옮긴이의 말 ★ 딥러닝의 기초부터 최신 기술 동향까지 한눈에 쉽게 파악할 수 있도록 구성돼 있다. 특히 케라스를 완전 통합한 텐서플로 2.0의 풍부한 예제와 함께 현재 활발히 연구가 진행중인 AutoML까지 다룬다. 딥러닝을 처음 시작하는 사람도 어렵지 않을 정도로 친절히 안내하면서도 딥러닝의 핵심인 역전파의 이면에서 벌어지고 있는 수학적 의미에 대한 해부에 한 장을 할애할 정도로 전문적인 설명도 빠트리지 않는다. 책의 후반부에는 최신 트렌드인 에지에서의 연합학습을 포함해 분산 훈련에 관한 자세한 설명과 함께 TPU를 사용해 수행 속도를 향상시킬 수 있는 방법을 예제와 함께 제공한다. 편안한 마음으로 책을 따라가다 보면 어느새 최신 기조인 텐서플로 2.0의 전문가가 돼 있을 것이다.

1장. 텐서플로 2.0으로 신경망 구현 __텐서플로(TF)란? __케라스란? __텐서플로 2.0의 가장 중요한 변화 __신경망 소개 __퍼셉트론 ____텐서플로 2.0 코드 첫 번째 예제 __다층 퍼셉트론: 신경망 첫 번째 예제 ____퍼셉트론 훈련의 문제점과 해결책 ____활성화 함수: 시그모이드 ____활성화 함수: tanh ____활성화 함수: ReLU ____추가적인 두 개의 활성화 함수: ELU와 LeakyReLU ____활성화 함수 ____간단히 말해: 결국 신경망이란? __실제 예제: 필기체 숫자 인식 ____원핫 인코딩(OHE) ____텐서플로 2.0으로 단순 신경망 정의 ____단순 텐서플로 2.0 신경망 실행과 베이스라인 구축 ____텐서플로 2.0의 단순 신경망을 은닉층으로 개선 ____텐서플로에서 드롭아웃으로 단순망 개선 ____텐서플로 2.0에서 여러 최적화기 테스트 ____에폭 수 증가시키기 ____최적화기 학습률 조절 ____내부 은닉층 개수 증가 ____배치 계산 크기 증가 ____필기체 인식 실행 차트 요약 __정규화 ____과적합을 피하기 위한 정규화 적용 ____배치 정규화의 이해 __구글 Colab 사용: CPU, GPU, TPU __감정 분석 __초매개변수 튜닝과 AutoML __출력 예측 __역전파에 대한 실용적 개괄 __정리 __딥러닝 접근법을 향해 __참고 자료 2장. 텐서플로 1.x와 2.x __텐서플로 1.x의 이해 ____텐서플로 1.x 계산 그래프 구조 ____상수, 변수, 플레이스홀더와 작업 ____연산의 예시 ____텐서플로 2.x에서의 텐서플로 1.x 예제 __텐서플로 2.x의 이해 ____즉시 실행 ____오토그래프 ____케라스 API: 3가지 프로그래밍 모델 ____콜백 ____모델과 가중치 저장 ____tf.data.datasets으로 훈련 ____tf.keras 또는 추정기? ____비정형 텐서 ____맞춤형 훈련 ____텐서플로 2.x에서 분산 훈련 ____네임스페이스의 변화 ____1.x에서 2.x로 변환 ____텐서플로 2.x의 효율적인 사용 __텐서플로 2.x 생태계 ____언어 바인딩 __케라스 또는 tf.keras 중 어떤 것? __요약 3장. 회귀 __회귀란? __선형 회귀를 사용한 예측 ____단순 선형 회귀 ____다중 선형 회귀 ____다변량 선형 회귀 __텐서플로 추정기 ____특징 열 ____입력 함수 ____텐서플로 추정기 API를 사용한 MNIST __선형 회귀를 사용한 주택 가격 예측 __분류 과제와 결정 경계 ____로지스틱 회귀 ____MNIST 데이터셋에 로지스틱 회귀 적용 __요약 __참고 자료 4장. 컨볼루션 신경망 __심층 컨볼루션 신경망(DCNN) ____로컬 수용 필드 ____가중치 공유와 향 ____수학적 예제 ____텐서플로 2.x의 ConvNets ____풀링 계층 __DCNN의 예: LeNet ____텐서플로 2.0에서 LeNet 코드 ____딥러닝의 위력 이해 __딥러닝으로 CIFAR-10 이미지 인식 ____심층 신경망으로 CIFAR-10 성능 향상 ____데이터 보강으로 CIFAR-10 성능 개선 ____CIFAR-10으로 예측 __대규모 이미지 인식을 위한 고심층 컨볼루션 신경망 ____VGG16 신경망으로 고양이 인식 ____VGG16망 내장 tf.keras 활용 ____특징 추출을 위해 사전 구축된 딥러닝 모델 재활용 __요약 __참고 자료 5장. 고급 컨볼루션 신경망 __컴퓨터 비전 ____복잡한 과제를 위한 CNN 구성 ____tf.keras 추정기 모델로 패션 MNIST 분류 ____패션 MNIST tf.keras 추정기 모델을 GPU에서 실행 ____전이학습용 심층 인셉션-V3 망 ____말과 사람을 구분하기 위한 전이학습 ____tf.keras와 텐서플로 Hub를 사용한 응용 집합소 ____기타 CNN 아키텍처 ____이미지에 대한 질문의 대답(VQA) ____스타일 변환 ____DeepDream 망 생성 ____망이 학습한 것을 조사 __비디오 ____사전 훈련된 망으로 비디오를 분류하는 6가지 방법 __텍스트 문서 ____CNN을 사용한 감정 분석 __오디오와 음악 ____확장 ConvNets, WaveNet, NSynth __컨볼루션 연산 요약 ____기본 컨볼루션 신경망(CNN 또는 ConvNet) ____확장 컨볼루션 ____분리 가능 컨볼루션 ____깊이별 컨볼루션 ____깊이별 분리 가능 컨볼루션 __캡슐 망 ____그렇다면 CNN의 문제점은 무엇인가? ____캡슐 망이 새로운 점은 무엇인가? __요약 __참고 자료 6장. 생성적 적대 신경망 __GAN이란? ____텐서플로에서 GAN을 사용한 MNIST __심층 컨볼루션 GAN(DCGAN) ____MNIST 숫자를 위한 DCGAN __몇 가지 흥미로운 GAN 아키텍처 ____SRGAN ____CycleGAN ____InfoGAN __GAN의 흥미로운 응용 __텐서플로 2.0로 CycleGAN 구현 __요약 __참고 자료 7장. 단어 임베딩 __단어 임베딩: 시작과 기초 __분산 표현 __정적 임베딩 ____Word2Vec ____GloVe __gensim을 사용해 자신만이 임베딩 생성 __gensim을 사용한 임베딩 공간 탐색 __워드 임베딩을 사용한 스팸 탐지 ____데이터 구하기 ____데이터를 사용 준비 ____임베딩 행렬 구축 ____스팸 분류기 정의 ____모델의 훈련과 평가 ____스팸 탐지기 실행 __신경망 임베딩: 단어 이외의 용도 ____Item2Vec ____node2vec __문자와 부분 단어 임베딩 __동적 임베딩 __문장과 문단 임베딩 __언어 모델 기반 임베딩 ____BERT를 특징 추출기로 사용 ____BERT 미세 조정 ____BERT를 사용한 분류: 커맨드라인 ____BERT를 자신의 신경망 일부로 사용 __요약 __참고 자료 8장. 순환 신경망 __기본 RNN 셀 ____BPTT ____사라지고 폭발하는 그래디언트 __RNN 셀 변형 ____LSTM ____GRU ____핍홀 LSTM __RNN 변형 ____양방향 RNN ____상태 저장 RNN __RNN 위상 ____예제: 일대다 텍스트 생성을 학습 ____예제: 다대일 감정 분석 ____예제: 다대다 POS 태깅 __인코더-디코더 아키텍처: seq2seq ____예제: 기계 번역용 어텐션 없는 seq2seq __어텐션 메커니즘 ____예제: 기계 번역용 어텐션이 있는 seq2seq __변환기 아키텍처 __요약 __참고 자료 9장. 오토인코더 __오토인코더 소개 __바닐라 오토인코더 ____텐서플로 케라스 Layers: 맞춤형 계층 정의 ____오토인코더를 사용해 필기체 숫자 재구성 __희소 오토인코더 __디노이징 오토인코더 ____디노이징 오토인코더를 이용한 이미지 정리 __스택된 오토인코더 ____이미지의 노이즈 제거를 위한 컨볼루션 오토인코더 ____케라스 오토인코더 예제: 문장 벡터 __요약 __참고 자료 10장. 비지도학습 __주성분 분석 ____MNIST 데이터셋에서 PCA ____텐서플로 임베딩 API ____K-평균 군집화 ____텐서플로 2.0에서의 K-평균 ____k-평균 변형 __자체 구성 맵 ____SOM을 사용한 컬러 매핑 __제한된 볼츠만 머신 ____RBM을 사용한 이미지 재구성 ____심층 신뢰 신경망 __가변 오토인코더 __요약 __참고 자료 11장. 강화학습 __소개 ____RL 용어 ____심층 강화학습 알고리즘 ____최근 몇 년간의 강화학습 성공 __OpenAI Gym 소개 ____Breakout 게임을 하는 랜덤 에이전트 __심층 Q 신경망 ____카트폴용 DQN ____아타리 게임용 DQN ____DQN 변종 __심층 확정적 정책 그래디언트 __요약 __참고 자료 12장. 텐서플로와 클라우드 __클라우드에서의 딥러닝 ____마이크로소프트 애저 ____아마존 웹 서비스(AWS) ____구글 클라우드 플랫폼(GCP) ____IBM 클라우드 __클라우드의 가상머신 ____아마존의 EC2 ____GCP의 컴퓨트 인스턴스 ____마이크로소프트 애저의 가상머신 __클라우드의 주피터 노트북 ____SageMaker ____구글 Colaboratory ____마이크로소프트 애저 노트북 __생산을 위한 텐서플로 익스텐디드 ____TFX 파이프라인 ____TFX 파이프라인 구성 요소 ____TFX 라이브러리 __텐서플로 엔터프라이즈 __요약 __참고 자료 13장. 모바일, IoT, 텐서플로.js용 텐서플로 __텐서플로 모바일 __텐서플로 라이트 ____양자화 ____플랫버퍼` ____모바일 변환기 ____모바일 최적화 인터프리터 ____지원 플랫폼 ____아키텍처 ____텐서플로 라이트 사용 ____일반적 응용 사례 ____GPU와 가속기 사용 ____응용 예제 __텐서플로 라이트에서 사전 훈련된 모델 ____이미지 분류 ____객체 탐지 ____자세 추정 ____스마트 회신 ____세그먼테이션 ____스타일 전이 ____텍스트 분류 ____질문과 답변 ____모바일 GPU 사용의 참고 사항 __에지에서의 연합학습 개요 ____텐서플로 FL API __텐서플로.js ____바닐라 텐서플로.js ____모델 변환 ____사전 훈련된 모델 ____Node.js __요약 __참고 자료 14장. AutoML 소개 __AutoML이란? __AutoML 성취 __자동 데이터 준비 __자동 특징 엔지니어링 __자동 모델 생성 __AutoKeras __구글 클라우드 AutoML ____클라우드 AutoML 사용: 테이블 솔루션 ____클라우드 AutoML 사용: 비전 솔루션 ____클라우드 AutoML 사용: 텍스트 분류 솔루션 ____클라우드 AutoML 사용: 번역 솔루션 ____클라우드 AutoML 사용: 비디오 인텔리전스 분류 솔루션 ____비용 __구글 AutoML을 캐글로 가져가기 __요약 __참고 자료 15장. 딥러닝 배경 수학 __역사 __몇 가지 수학 도구 ____미분과 그래디언트 ____그래디언트 하강 ____연쇄법칙 ____몇 가지 미분 규칙 ____행렬 연산 __활성화 함수 ____시그모이드의 도함수 ____tanh의 도함수 ____ReLU의 도함수 __역전파 ____전방향 단계 ____역단계 ____역전파의 한계 ____교차 엔트로피와 도함수 ____배치 그래디언트 하강, 확률적 그래디언트 하강, 미니 배치 __역전파와 컨볼루션 신경망 __역전파와 RNN __텐서플로 참고 사항과 자동 미분 __요약 __참고 자료 16장. TPU __C/G/T 프로세스 유닛 ____CPU와 GPU ____TPU __3세대의 TPU와 에지 TPU ____1세대 TPU ____2세대 TPU ____3세대 TPU ____에지 TPU __TPU 성능 __Colab에서 TPU를 사용하는 방법 ____TPU를 쓸 수 있는지 확인 ____tf.data로 데이터 로드 ____모델 구축과 TPU로 로드 __사전 훈련된 TPU 모델 사용 __텐서플로 2.1 사용과 야간 빌드 __요약 __참고 자료