추가 적립 안내

딥 러닝의 동작 원리를 이해시키는 명쾌한 해설과 공식!

기초부터 고급 이론까지 체계적으로 정리하여 알기 쉬운 딥 러닝 교과서『딥 러닝 제대로 시작하기』. 이 책은 최근 많은 관심을 받고 있는, 머신 러닝의 접근 방법론 중 하나인 딥 러닝을 권위 있는 저자가 알기 쉽게 해설한 책이다. 딥 러닝의 기초부터 확률적 경사 하강법(SGD), 자기부호화기(autoencoder), 합성곱 신경망(CNN), 재귀 신경망(RNN), 제약 볼츠만 머신(RBM)에 이르는 다양한 기법을 명쾌하게 설명하고 있으며, 일본 고단샤 출판사에서 기획한 기계학습 프로페셔널 시리즈(총 29종) 중 가장 인기가 많은 책이기도 하다.

데이터 과학과 머신 러닝 전문가를 위한 콤팩트한 입문서!
기초부터 고급 이론까지 체계적으로 정리하여 알기 쉬운 딥 러닝 교과서!
딥 러닝의 동작 원리를 이해시키는 핵심 수식과 그림, 간결한 해설이 돋보이는 책!

이 책은 최근 많은 관심을 받고 있는, 머신 러닝의 접근 방법론 중 하나인 딥 러닝을 권위 있는 저자가 알기 쉽게 해설한 책이다. 딥 러닝의 기초부터 확률적 경사 하강법(SGD), 자기부호화기(autoencoder), 합성곱 신경망(CNN), 재귀 신경망(RNN), 제약 볼츠만 머신(RBM)에 이르는 다양한 기법을 명쾌하게 설명하고 있으며, 일본 고단샤 출판사에서 기획한 기계학습 프로페셔널 시리즈(총 29종) 중 가장 인기가 많은 책이기도 하다.

대상 독자
■ 데이터 과학을 배우려는 대학생/대학원생
■ 머신 러닝 기법을 응용하려는 연구자나 엔지니어

주요 내용
1장: 신경망 연구의 간략한 역사와 이 책의 구성을 다룬다.
2장: 앞먹임 신경망을 다룬다. 이는 입력에서 출력까지 정해진 한 방향으로만 정보가 전달되는 신경망으로, 가장 기본적이자 널리 응용되는 신경망이다.
3장: 앞먹임 신경망의 학습 방법을 설명한다. 특히, 딥 뉴럴넷에서 기본적인 학습 방법으로 활용되는 확률적 경사 하강법에 초점을 맞추고 기초 이론과 방법을 설명한다.
4장: 오차 기울기를 구하기 위한 방법으로 역전파법을 설명한다.
5장: 자기부호화기(autoencoder)를 다룬다. 이는 비지도 학습을 하는 신경망으로, 주로 데이터를 잘 나타내는 자질을 학습하고 데이터에 대한 좋은 표현을 얻는 것을 목적으로 한다. 열쇠가 되는 희소 규제화나 데이터 백색화에 대해서도 설명한다. 또, 자기부호화기를 이용한 딥 뉴럴넷의 사전훈련 방법도 다룰 것이다.
6장: 이미지에 대한 응용에서 빼놓을 수 없는 합성곱 신경망을 다룬다. 합성곱층과 풀링층 등 특수한 구조를 갖는 층에 대해서 자세히 설명하고 구체적인 응용 예를 소개한다.
7장: 재귀 신경망을 다룬다. 재귀 신경망을 위한 기본적인 구성과 학습 방법을 설명하고, 음성 인식, 필기 인식 등의 성공적으로 응용되고 있는 장·단기 기억과 입력 연속열과 길이가 다른 연속열을 추정할 수 있는 커넥셔니스트 시계열 분석법 등을 설명한다.
8장: 볼츠만 머신을 다룬다. 다른 장에서 다룬 신경망과 달리, 유닛 간에 양방향성 결합을 가지며 그 거동이 확률적으로 기술되는 것이 특징이다.

1장 시작하며 _ 1
1.1 신경망 연구의 역사 3
1.1.1 다층 신경망에 대한 기대와 실망 3
1.1.2 다층 신경망의 사전훈련 4
1.1.3 자질에 대한 학습 6
1.1.4 딥 러닝의 융성 7
1.2 이 책의 구성 9

2장 앞먹임 신경망 _ 11
2.1 유닛의 출력 13
2.2 활성화 함수 15
2.3 다층 신경망 18
2.4 출력층의 설계와 오차함수 21
2.4.1 학습의 얼개 21
2.4.2 회귀 22
2.4.3 이진 분류 23
2.4.4 다클래스 분류 25

3장 확률적 경사 하강법 _ 29
3.1 경사 하강법 31
3.2 확률적 경사 하강법 33
3.3 ‘미니배치’의 이용 35
3.4 일반화 성능과 과적합 36
3.5 과적합을 완화시키는 방법 38
3.5.1 규제화 38
3.5.2 가중치 감쇠 39
3.5.3 드롭아웃 40
3.6 학습을 위한 트릭 43
3.6.1 데이터 정규화 43
3.6.2 데이터 확장 45
3.6.3 여러 신경망의 평균 45
3.6.4 학습률의 결정 방법 46
3.6.5 모멘텀 48
3.6.6 가중치의 초기화 49
3.6.7 샘플의 순서 50

4장 역전파법 _ 53
4.1 기울기 계산의 어려움 55
4.2 2층으로 구성된 신경망의 계산 57
4.3 다층 신경망으로 일반화 60
4.4 경사 하강법의 전체 알고리즘 63
4.4.1 출력층의 델타 63
4.4.2 순전파와 역전파의 행렬 계산 65
4.4.3 기울기의 차분근사 계산 67
4.5 기울기 소실 문제 68

5장 자기부호하기 _ 71
5.1 개요 73
5.2 자기부호화기의 설계 74
5.2.1 출력층의 활성화 함수와 오차함수 74
5.2.2 가중치 공유 75
5.3 자기부호화기의 동작 76
5.3.1 데이터를 나타내는 특징을 학습 76
5.3.2 주성분 분석과의 관계 78
5.4 희소 규제화 80
5.4.1 데이터의 과완비한 표현 80
5.4.2 최적화 83
5.4.3 희소 규제화의 효과 85
5.5 데이터의 백색화 87
5.6 딥 뉴럴넷의 사전훈련 92
5.7 그 외의 자기부호화기 94
5.7.1 심층 자기부호화기 94
5.7.2 디노이징 자기부호화기 95

6장 합성곱 tlsruda아 _ 99
6.1 단순 세포와 복잡 세포 101
6.2 전체적인 구조 104
6.3 합성곱 105
6.3.1 정의 105
6.3.2 합성곱의 작용 106
6.3.3 패딩 107
6.3.4 스트라이드 108
6.4 합성곱층 109
6.5 풀링층 112
6.6 정규화층 115
6.6.1 국소 콘트라스트 정규화 115
6.6.2 단일 채널 이미지의 정규화 116
6.6.3 다채널 이미지의 정규화 118
6.7 기울기의 계산 119
6.8 실제 예: 물체 유형 인식 121

7장 재귀 신경망 _ 135
7.1 연속열 데이터의 분류 137
7.2 RNN의 구조 139
7.3 순전파 계산 142
7.4 역전파 계산 144
7.5 장·단기기억 147
7.5.1 RNN의 기울기 소실 문제 147
7.5.2 LSTM의 개요 148
7.5.3 순전파 계산 149
7.5.4 역전파 계산 151
7.6 입력과 출력의 연속열 길이가 다른 경우 153
7.6.1 은닉 마르코프 모델 153
7.6.2 커넥셔니스트 시계열 분류 154

8장 볼츠만 머신 _ 161
8.1 데이터의 생성 모델 163
8.2 볼츠만 머신 164
8.2.1 확률적 구조 164
8.2.2 학습 166
8.3 깁스 샘플링 168
8.4 은닉 변수를 갖는 볼츠만 머신 170
8.4.1 확률적 구조 170
8.4.2 학습 171
8.5 제약 볼츠만 머신 173
8.5.1 확률적 구조 173
8.5.2 조건부 분포 174
8.5.3 RBM과 자기부호화기 175
8.6 RBM의 학습 176
8.6.1 깁스 샘플링을 사용한 기울기 계산 176
8.6.2 대조적 발산(CD) 178
8.6.3 CD의 실제 적용 180
8.6.4 지속적 CD 182
8.7 그 외의 유닛 183
8.7.1 가우시안 유닛 183
8.7.2 ReLU 184
8.8 딥 빌리프 네트워크 186
8.9 딥 볼츠만 머신 188
8.10 성능 비교 191

참고문헌 194
찾아보기 199

앞먹임 신경망(feedforward neural network)*은 층 모양으로 늘어선 유닛이 인접한 층(layer)들과만 결합하는 구조를 가지며, 정보가 입력 측으로부터 출력 측으로 한 방향으로만 흐르는 신경망이다. 문헌에 따라서는 다층 퍼셉트론(multi-layer perceptron)이라 부르기도 한다.
_13쪽

앞먹임 신경망의 지도 학습법을 딥 러닝에서 특히 자주 쓰이는 방법인 확률적 경사 하강법에 초점을 맞추어 설명하겠다. 기본적인 알고리즘에 대하여 다루고, 딥 뉴럴넷을 학습시키는 데 가장 큰 걸림돌이 되는 과적합(overfitting)을 설명하고, 이를 완화시키는 방법을 알아보자. 더불어, 학습을 더 잘 진행시킬 수 있도록 하는 노하우를 몇 가지 소개한다.
_29쪽

이 문제를 기울기 소실 문제(vanishing gradient problem)라 부른다. 2층 정도의 얕은 신경망에서는 이 델타의 발산이나 소실이 큰 문제가 되지 않지만, 그보다 많은 층을 갖는 신경망에서는 심각한 문제라서 학습을 진행하는 데 가장 큰 장애가 된다. 3.6절에서 설명한 트릭 중 몇 가지는 이 문제에 어느 정도 유효하게 작용하지만, 충분한 해결책이 되지는 못한다.
_69쪽

앞서 말한 바와 같이, CNN에서도 일반적인 앞먹임 신경망과 마찬가지로 경사 하강법에 의한 파라미터 최적화를 수행한다. 합성곱층의 가중치는 필터 그 자체이므로 최적화의 대상이 필터(그리고 바이어스)라는 이야기가 된다. 역전파법에 의해 합성곱층의 델타와 필터의 오차 기울기가 계산된다. 이 부분에 관한 자세한 내용은 6.7절에서 다루겠다.
_112쪽

볼츠만 머신은 유닛 간의 결합이 쌍방향인 신경망이다. 신경망의 행동을 확률적으로 기술하는 것이 가장 큰 특징으로, 일반적으로 데이터의 생성 모델로 쓰인다. 보통의 결정론적 신경망과 마찬가지로 신경망의 가중치나 바이어스를 통하여 결정하지만, 그 방법은 크게 다르다. 현재 딥 러닝의 성공은 제약 볼츠만 머신을 사용한 DBN의 연구가 계기가 되었다.
_161쪽