| 이 책의 대상 | 이 책은 심층 학습의 고급 주제들을 더 깊이 이해하길 원하는 기계 학습 엔지니어들과 학생들을 대상으로 한다. Keras로 구현한 코드로 각 설명을 보충하였다. 특히, 텐서플로우 2의 Keras API 또는 tf.keras를 이용하였다. 이 책은 이론을 Keras 코드로 구현하는 방법에 대해 이해하길 원하는 독자들을 위한 것이다. 이론을 이해하는 것 외에도, 코드 구현은 기계 학습을 실제의 문제들에 적용함에 있어 어려운 작업 중 하나이다. ■이 책의 특징 1장. “Keras와 함께 고급 심층 학습 소개”에서는 최적화, 정규화, 손실 함수, 기본적인 레이어들 및 네트워크의 핵심 개념과 tf.keras로 이에 대한 구현을 다룬다. 이 장은 심층 학습과 순차형 API를 이용하는 tf.keras에 관한 리뷰를 제공한다. 2장. “심층 신경망”에서는 tf.keras의 함수형 API를 다룬다. 널리 사용되는 두 개의 심층 신경망 아키텍처인 ResNet과 DensNet을 설명하고 함수형 API를 이용하여 tf.keras로 구현한다. 3장. “오토인코더”에서는 입력 데이터의 잠재 표현을 다루는데 일반적으로 사용되는 오토인코더(autoencoder)라고 하는 네트워크의 구조를 다룬다. 오토인코더의 두 가지 예제 어플리케이션인 노이즈 제거와 채색을 설명하고 tf.keras로 구현한다. 4장. “생성적 적대 신경망(GAN)”에서는 최근 심층 학습의 발전된 중요한 기법 중 하나이다. GAN은 실제처럼 보이는 합성된 데이터를 생성하는데 사용된다. 이 장은 GAN의 기본 개념을 설명한다. GAN의 두 가지 예제인 DCGAN과 CGAN을 설명하고 tf.keras로 구현한다. 5장. “향상된 GAN”에서는 기본 GAN을 개선한 알고리즘을 다룬다. 이 알고리즘은 GAN훈련의 어려운 점을 해결하고 합성 데이터의 품질을 개선한다. WGAN, LSGAN 및AC GAN을 설명하고 tf.keras로 구현한다. 6장. “풀어진 표현 GAN”에서는 GAN으로 생성된 합성 데이터의 속성을 제어하는 방법에 대해 설명하다. 잠재 표현을 풀면 속성을 제어할 수 있다. 표현을 푸는 두 기법인 InfoGAN과 StackedGAN을 설명하고 tf.keras로 구현한다. 7장. “교차-도메인 GAN”에서는 일반적으로 교차-도메인 변환이라고 알려진, 하나의 도메인에서 다른 도메인으로 이미지를 변환하는 GAN의 실제적인 어플리케이션을 다룬다. 교차-도메인 GAN으로 널리 사용되는 CycleGAN을 설명하고 tf.keras로 구현한다. 이 장은 채색 및 스타일 변환을 수행하는 CycleGAN을 설명한다. 8장. “변분 오토인코더(VAE)”에서는 DL에서 또 하나의 중요한 주제를 설명한다. GAN과 유사한 VAE는 합성 데이터를 생성하는데 사용되는 생성 모델이다. GAN과는 달리, VAE는 변분 추론에 적합한 디코딩이 가능한 연속의 잠재 공간에 중점을 둔다. VAE와 이것의 변형인 CVAE 및 β-VAE를 설명하고 tf.keras로 구현한다. 9장. “심층 강화 학습”에서는 강화 학습과 Q-learning의 기본 개념을 설명한다. 이산 행동 공간에 대한 Q-learning을 구현하는 두 가지 기법인 Q-table 업데이트와 Deep Q-Networks (DQN)를 설명한다. OpenAI Gym 환경에서 파이썬을 이용한 Q-learning과 tf.keras의 DQN의 구현을 보여준다. 10장. “정책 경사 방법”에서는 강화 학습에서 의사 결정을 위해 정책을 학습하는 신경망을 사용하는 방법에 대해 설명한다. 네 가지 방법인 REINFORCE, 기준치를 갖는 REINFORCE, Actor-Critic 및 Advantage Actor-Critic을 설명하고 tf.keras와 OpenAI Gym 환경에서 구현한다. 이 장에서 보여주는 예제는 연속의 행동 공간에 대한 정책 경사 방법을 설명한다. 11장. “객체 감지”에서는 컴퓨터 비전, 객체 감지 또는 식별 그리고 이미지의 위치 파악에 대한 가장 일반적인 어플리케이션 중 하나를 설명한다. SSD라고 하는 멀티-스케일 객체 감지 알고리즘의 핵심 개념을 설명하고 tf.keras를 이용하여 단계별로 구현한다. 데이터셋 수집과 레이블링에 대한 기법을 예를 들어 설명한다. 그 후, 데이터셋을 이용하여 tf.keras로 SSD의 훈련과 평가를 구현한다. 12장. “시멘틱 분할”에서는 컴퓨터 비전, 시멘틱 분할 또는 이미지에서 각 픽셀에 대해 객체 클래스를 식별하는 것에 관한 또 다른 일반적인 어플리케이션을 설명한다. 분할의 기본 개념을 설명한다. 그 다음에, 좀 더 자세히 시멘틱 분할을 설명한다. FCN이라고 하는 시멘틱 분할 알고리즘의 구현 예제를 tf.keras를 이용하여 구축하고 평가한다. 이전 장에서 수집된 동일한 데이터셋을 이용하지만 시멘틱 분할을 위해 다시 레이블링 한다. 13장. “상호 정보를 이용한 비지도 학습”에서는 DL이 인간의 레이블링에 깊이 의존한다면, 왜 발전하지 못하는지 살펴본다. 비지도 학습은 인간의 레이블링을 필요로 하지 않는 알고리즘에 중점을 둔다. 비지도 학습을 이루기 위한 효과적인 기법 중 하나는 상호 정보(MI, Mutual Information)의 개념에 대한 이점을 활용하는 것이다. MI를 최대화 하도록, tf.keras를 이용하여 비지도 클러스터링/분류를 구현하고 평가한다.

1장 Keras를 이용한 고급 심층 학습 소개 1. 왜 Keras가 완벽한 심층학습 라이브러리 인가? 4 Keras와 텐서플로우 설치하기 5 2. MLP, CNN, RNN 8 MLP, CNN, 그리고 RNN의 차이점 8 3. 멀티레이어 퍼셉트론(MLP) 9 MNIST 데이터셋 10 MNIST 숫자 분류기 모델 13 MLP와 Keras를 이용하여 모델 구축하기 17 정규화 20 출력 활성화 및 손실 함수 21 최적화 24 성능 평가 29 모델 요약 30 4. 합성곱 신경망(CNN) 33 합성곱 35 풀링(Pooling) 연산 37 성능 평가 및 모델 요약 38 5. 순환 신경망(RNN) 40 6. 요점 정리 46 7. 참고자료 47 2장 심층 신경망 1. 함수형 API 52 두 개의 입력과 하나의 출력을 갖는 모델 생성하기 55 2. 심층 잔차 네트워크(ResNet) 62 3. ResNet v2 73 4. 조밀하게 연결된 합성곱 네트워크(DenseNet) 77 CIFAR10으로 100-레이어 DenseNet-BC 구축하기 81 5. 요점 정리 84 6. 참고자료 85 3장 오토인코더 1. 오토인코더의 원리 90 2. Keras를 이용한 오토인코더 구축하기 93 3. 노이즈 제거 오토인코더(DAE) 104 4. 자동 채색 오토인코더 110 5. 요점 정리 118 6. 참고자료 119 4장 생성적 적대 신경망(GAN) 1. GAN의 개요 123 GAN의 원리 125 2. Keras로 DCGAN 구현하기 131 3. 조건부(conditional) GAN 142 4. 요점 정리 153 5. 참고자료 153 5장 향상된 GAN 1. Wasserstein GAN 158 거리 함수 158 GAN의 거리 함수 161 Wasserstein 손실 사용하기 164 Keras를 이용한 WGAN 구현 169 2. Least-squares GAN(LSGAN) 177 3. 보조 분류기(Auxiliary Classifier) GAN(ACGAN) 182 4. 요점 정리 196 5. 참고자료 196 6장 풀어진 표현 GAN 1. 풀어진 표현 200 InfoGAN 202 Keras로 InfoGAN 구현 206 InfoGAN의 생성자 출력 218 2. StackedGAN 221 Keras로 StackedGAN 구현 222 StackedGAN의 생성자 출력 240 3. 요점 정리 244 4. 참고자료 244 7장 교차-도메인 GAN 1. CycleGAN의 기본 개념 248 CycleGAN 모델 251 Keras를 이용한 CycleGAN 구현 258 CycleGAN의 생성자 출력 276 MNIST의 CycleGAN 및 SVHN 데이터셋 279 2. 요점 정리 286 3. 참고자료 287 8장 변분 오토인코더(VAEs) 1. VAE의 기본 개념 292 변분 추론 294 핵심 방정식 294 최적화 296 재매개변수화 기법 297 디코더 테스트 298 Keras의 VAE 298 CNN을 이용한 AE 308 2. 조건부 VAE (CVAE) 315 3. ? -VAE -풀어진 잠재 표현을 갖는 VAE 323 4. 요점 정리 327 5. 참고자료 327 9장 심층 강화 학습 1. 강화 학습(RL)의 기본 개념 332 2. Q 값 335 3. Q-learning 예제 337 파이썬에 의한 Q-Learning 343 4. 비결정론적 환경 351 5. 시간차 학습(Temporal-difference learning) 352 OpenAI Gym에서 Q-learning 352 6. 심층 Q-Network(DQN) 359 Keras에서 DQN 363 Double Q-learning (DDQN) 371 7. 요점 정리 375 8. 참고자료 376 10장 정책 경사 방법 1. 정책 경사 정리 380 2. 몬테 카를로(Monte Carlo) 정책 경사(REINFORCE) 방법 383 3. 기준치를 갖는 REINFORCE 방법 387 4. Actor-Critic 방법 393 5. Advantage Actor-Critic(A2C) 방법 397 6. Keras를 이용한 정책 경사 방법 401 7. 정책 기울기 방법들의 성능 평가 420 8. 요점 정리 427 9. 참고자료 427 11장 객체 감지 1. 객체 감지 432 2. 앵커 박스 435 3. 정답 앵커 박스 442 4. 손실 함수 450 5. SSD 모델 아키텍처 454 6. Keras에서 SSD 모델 아키텍처 458 7. Keras에서 SSD 객체 459 8. Keras에서 SSD 모델 464 9. Keras에서 데이터 생성기 모델 468 10. 예제 데이터셋 472 11. SSD 모델 훈련 473 12. 비-최대값 억제(NMS) 알고리즘 475 13. SSD 모델 검증 479 14. 요점 정리 487 15. 참고자료 487 12장 시멘틱 분할 1. 분할 492 2. 시멘틱 분할 네트워크 495 3. Keras의 시멘틱 분할 네트워크 498 4. 예제 데이터셋 505 5. 시멘틱 분할 검증 507 6. 요점 정리 511 7. 참고자료 512 13장 상호 정보를 이용한 비지도 학습 1. 상호 정보 516 2. 상호 정보와 엔트로피 518 3. 이산 확률 변수의 상호 정보 극대화에 의한 비지도 학습 521 4. 비지도 클러스터링을 위한 인코더 네트워크 525 5. Keras에서 비지도 클러스터링 구현 529 6. MNIST를 이용한 검증 542 7. 연속 확률 변수의 상호 정보 최대화에 의한 비지도 학습 543 8. 이변량 가우시안의 상호 정보 추정 545 9. Keras에서 연속 확률 변수를 이용한 비지도 클로스터링 552 10. 요점 정리 561 11. 참고자료 562