추가 적립 안내

인공지능과 딥 러닝의 원리를 명료한 수식과 그림으로 설명한 체계적인 딥 러닝 교과서!

이 책은 인공지능 분야 최일선에 있는 연구자들이 일본 인공지능학회지에 게재했던 자신들의 연재물에 내용을 대폭 보강하여 만든 책이다. 지금까지의 딥 러닝 연구 성과를 수식과 함께 체계적으로 정리하였을 뿐만 아니라 앞으로 남은 과제를 구체적인 사례와 함께 서술하였다. 기초편에서는 딥 러닝의 전체 그림과 함께 대규모 신경망을 학습하는 데 필요한 노하우를 간략하게 정리하였으며, 응용편에서는 딥 러닝의 주요 응용 분야인 이미지 인식, 음성 인식, 자연어 처리에서 딥 러닝이 어떻게 적용되고 있는지와 함께 각 분야에 특화된 응용 기법을 소개하였다.

딥 러닝 전문가를 위한 콤팩트한 기본서!
딥 러닝의 원리를 이해시키는 핵심 수식과 그림, 간결한 해설이 돋보이는 책!
인공지능과 딥 러닝의 원리를 명료한 수식과 그림으로 설명한 체계적인 딥 러닝 교과서!

이 책은 인공지능 분야 최일선에 있는 연구자들이 일본 인공지능학회지에 게재했던 자신들의 연재물에 내용을 대폭 보강하여 만든 책이다. 지금까지의 딥 러닝 연구 성과를 수식과 함께 체계적으로 정리하였을 뿐만 아니라 앞으로 남은 과제를 구체적인 사례와 함께 서술하였다. 기초편에서는 딥 러닝의 전체 그림과 함께 대규모 신경망을 학습하는 데 필요한 노하우를 간략하게 정리하였으며, 응용편에서는 딥 러닝의 주요 응용 분야인 이미지 인식, 음성 인식, 자연어 처리에서 딥 러닝이 어떻게 적용되고 있는지와 함께 각 분야에 특화된 응용 기법을 소개하였다.

대상 독자 및 주요 내용
● 인공지능 학과 대학원생
● 관련 업계 연구자나 엔지니어

기초편
● 1장 딥 러닝 개요
● 2장 볼츠만 머신
● 3장 대조적 발산
● 4장 딥 러닝의 대규모 구현

응용편
● 5장 이미지 인식
● 6장 음성 인식
● 7장 자연어 처리

PART 1 기초편_1
CHAPTER 1 계층형 신경망을 이용한 딥 러닝_3
1.1 시작하며 3
1.2 데이터로부터 내부 표현 학습하기 5
1.2.1 내부 표현의 중요성과 학습 기법 6
1.2.2 특징 엔지니어링과 표현 학습 7
1.3 계층형 신경망 10
1.3.1 신경망 연구의 계보 10
1.3.2 계층형 신경망의 수리적 모형 11
1.4 계층형 신경망의 학습 13
1.4.1 오차수정 학습 14
1.4.2 오차역전파 학습 15
1.4.3 경쟁학습 17
1.5 딥 뉴럴넷을 이용한 심층 표현학습 18
1.5.1 오차역전파 학습을 통한 내부 표현학습 19
1.5.2 딥 뉴럴넷의 학습 20
1.6 합성곱 신경망 21
1.7 자기부호화기 24
1.7.1 자기부호화기와 자기부호화기의 학습 24
1.7.2 적층 자기부호화기 25
1.7.3 희소 자기부호화기 27
1.7.4 잡음제거 자기부호화기 28
1.8 정리 28
참고 문헌 30

CHAPTER 2 딥 볼츠만 머신_35
2.1시작하며 35
2.2 통계적 머신 러닝의 아이디어 ― 데이터 생성 모형의 재현 37
2.3 마르코프 확률장과 볼츠만 머신 40
2.3.1 마르코프 확률장 40
2.3.2 볼츠만 머신 42
2.3.3 볼츠만 머신과 홉필드 네트워크의 관계 44
2.3.4 볼츠만 머신의 학습을 위한 준비 45
2.4 가시변수만 있는 볼츠만 머신의 학습 46
2.4.1 쿨벡 - 라이블러 발산으로부터의 학습방정식 유도방법 49
2.4.2 볼츠만 머신 학습에 대한 구현과 조합의 폭발 문제 51
2.5 비가시변수가 있는 볼츠만 머신의 학습 53
2.5.1 비가시변수가 있는 경우의 학습에 대해서 56
2.5.2 비가시변수를 도입하는 의미 57
2.6 볼츠만 머신에서의 근사 기법 59
2.6.1 깁스 샘플링 60
2.6.2 평균장 근사 63
2.7 제약 볼츠만 머신 66
2.7.1 조건부 독립성에 기초한 제약 볼츠만 머신의 성질 67
2.7.2 제약 볼츠만 머신의 학습 69
2.8 딥 볼츠만 머신 71
2.8.1 딥 볼츠만 머신의 사전훈련 73
2.8.2 사전훈련 후의 최대우도추정법에 기초한 학습 77
2.8.3 제약 볼츠만 머신을 자기부호화기로 활용하기 79
2.8.4 딥 볼츠만 머신의 이용법 81
2.9 딥 빌리프넷 83
2.9.1 딥 빌리프넷에 대한 사전훈련 및 추론 84
2.9.2 딥 빌리프넷에 대한 사전훈련의 정당성 86
2.10 정리 91
참고 문헌 92

CHAPTER 3 사전훈련과 그 주변_95
3.1 시작하며 95
3.2 자유도가 높은 통계 모형에 대한 학습의 어려움과 해결책 96
3.2.1 학습을 어렵게 하는 요인 96
3.2.2 기존의 해결법 98
3.2.3 새로운 해결법 101
3.3 자기부호화기를 이용한 내부 표현학습 104
3.3.1 자기부호화기와 자기부호화기의 손실함수 정의 104
3.3.2 층 단위 탐욕학습을 통한 자기부호화기의 사전훈련 106
3.4 확률적 모형을 사용한 사전훈련 107
3.4.1 제약 볼츠만 머신 107
3.4.2 지수형 하모니움족 110
3.4.3 대조적 발산을 이용한 지수형 하모니움족의 학습 114
3.4.4 대조적 발산법이 최적화하는 손실함수 115
3.4.5 대조적 발산법과 비슷한 학습 규칙을 갖는 알고리즘 123
3.4.6 대조적 발산으로부터 파생한 학습 규칙 125
3.4.7 확률적인 모형의 사전훈련과 자기부호화기 학습의 관계 127
3.5 결정적 모형을 사용한 사전훈련 128
3.5.1 비지도 학습을 통한 결정적 모형의 학습 130
3.5.2 지도학습 방식을 이용한 결정적 모형의 학습 133
3.6 Product of Experts 학습법으로 본 대조적 발산법 134
3.7 정리 136
참고 문헌 137

CHAPTER 4 대규모 딥 러닝을 실현하기 위한 기술_141
4.1 시작하며 141
4.2 딥 러닝의 최적화 143
4.2.1 딥 러닝의 기본 연산 143
4.2.2 확률적 경사하강법 145
4.3 속도 향상을 위한 기법 146
4.3.1 분산병렬처리: 디스트빌리프 146
4.3.2 GPU를 이용한 대규모 신경망학습 150
4.3.3 인피니밴드의 이용 153
4.3.4 학습수렴 속도를 향상시키는 방법 154
4.4 과적합 억제: 드롭아웃 157
4.5 활성화함수 161
4.5.1 ReLU 161
4.5.2 MaxOut 162
4.6 학습률을 조정하는 기법 163
4.6.1 AdaGrad 164
4.6.2 Adam 164
4.6.3 하이퍼파라미터의 최적화 165
4.7 구현을 위한 기법 167
4.7.1 구현이 올바른지 확인하기 167
4.8 정리 168
참고 문헌 168

PART 2 응용편_171
CHAPTER 5 이미지 인식을 위한 딥 러닝_173
5.1 시작하며 173
5.1.1 합성곱 신경망의 재발견 174
5.1.2 후속 연구 175
5.2 합성곱 신경망 177
5.2.1 기본 구조 177
5.2.2 합성곱층 178
5.2.3 풀링층 181
5.2.4 예제: 숫자 필기 인식을 위한 합성곱 신경망 182
5.2.5 학습 184
5.2.6 콘트라스트 조정과 데이터 정규화 186
5.3 합성곱 신경망의 동작 188
5.3.1 일반물체 인식의 어려움 188
5.3.2 일반물체 인식의 기존 방법 189
5.3.3 기존의 방법과 합성곱 신경망의 비교 193
5.3.4 네트워크 구조와 인식 성능 195
5.3.5 합성곱 신경망의 확장을 위한 시도 197
5.4 합성곱 신경망의 내부 표현 198
5.4.1 시각화 198
5.4.2 뇌신경계와의 관계 199
5.4.3 전이학습 200
5.5 이미지 특징에 대한 비지도학습 201
5.5.1 단층 자기부호화기를 이용한 국소특징 학습 201
5.5.2 다층 신경망을 이용한 특징학습 204
5.6 정리 208
참고 문헌 209

CHAPTER 6 음성 인식을 위한 딥 러닝_213
6.1 시작하며 213
6.2 음성 인식 215
6.2.1 음성 인식에 사용되는 모형 215
6.2.2 대규모 어휘 연속 음성 인식 시스템의 구성 219
6.3 음성 인식에서 사용되는 신경망 220
6.3.1 시간 지연 신경망 222
6.3.2 은닉 마르코프 모형과 조합한 신경망: 절충적 방식 223
6.3.3 은닉 마르코프와 조합한 신경망: 탠덤 방식 225
6.4 음향 모형을 위한 딥 러닝: 사전훈련 227
6.4.1 제약 볼츠만 머신을 이용한 사전훈련을 적용한 딥 뉴럴넷 ― 은닉 마르코프 모형 227
6.4.2 잡음제거 자기부호화기를 이용한 사전훈련 230
6.4.3 식별적 사전훈련 232
6.5 음향 모형을 위한 딥 러닝: 학습과 모형의 진전 233
6.5.1 연속열 식별학습 233
6.5.2 순환결합 신경망을 이용한 음향 모형 238
6.5.3 장단기 기억 241
6.5.4 멀티스트림/멀티태스크 학습 245
6.6 언어 모형에 대한 딥 러닝 246
6.6.1 회귀 결합 신경망을 이용한 언어 모형 247
6.7 정리 249
참고 문헌 250

CHAPTER 7 자연어 처리를 위한 딥 러닝_253
7.1 시작하며 253
7.2 딥 러닝과 언어 모형 256
7.2.1 신경망 언어 모형 257
7.2.2 그 외의 언어 모형 260
7.3 단어 의미표현에 대한 학습 262
7.3.1 상향식 의미표현 구축 기법 262
7.3.2 하향식 의미표현 예측 기법 263
7.3.3 계층형 소프트맥스를 이용한 계산 268
7.3.4 의미표현학습 기법과 그 외의 주제 270
7.4 딥 러닝과 의미 구축 273
7.4.1 패러프레이즈 표현 인식에 대한 응용 274
7.5 정리 279
참고 문헌 280

이 책은 다양한 딥 러닝 기법을 소개하는 책이다. 하지만 그 전에 먼저 딥 러닝 대 그 외의 기법, 그리고 결정적 대 확률적 모형의 두 가지 관점에서 이들 모형의 관계를 밝히는 방법으로 딥 러닝의 큰 그림을 보여 주고자 한다. 그러고 나서 결정적 및 확률적 모형으로 나누어 각각의 기법을 간단히 소개한다.
_xix쪽

이렇듯 오차역전파 학습으로 관측 데이터로부터 과업에 적합한 내부 표현을 학습하여 얻을 수 있다는 것을 증명함으로써 계층형 신경망이 문자 인식, 음운 인식, 각종 신호 처리 등 다양한 과업에 대해 응용이 시도되었다. 예를 들면, 필기 인식이나 한자 인식과 같은 과업에서는 이미지로부터 특징을 추출하는 대신 이미지의 픽셀값을 그대로 신경망에 입력한 경우에도 사람이 설계한 특징을 입력했을 때와 거의 동등한 인식 성능을 얻을 수 있음을 보였다.
_19쪽

사전훈련이 끝났다면 그 결과를 초깃값으로 삼아 전체 DBM에 대한 근사적 최대우도추정을 통해 파라미터 값을 미세조정한다. 물론 계산부하 문제가 있으므로 응용에서는 2.6.1항에서 소개했던 깁스 샘플링과 2.6.2장에서 다룬 평균장 근사를 사용하여 근사적인 방법으로 학습을 하게 된다. 이번 항에서는 사전훈련이 끝난 뒤의 최대우도추정 방법에 대해 설명한다.
_77쪽

즉, 여러 선형함수의 값 중에서 최댓값을 함숫값으로 취한다. 달리 표현하면 활성화함수로서 구분선형적인 볼록함수를 이용하고, 이 볼록함수 역시 최적화를 통해 결정한다. MaxOut이나 ReLU 모두 선형구분함수의 형태를 취하고 있으나, ReLU보다 더 복잡한 함수를 표현할 수 있게 된다.
_162쪽

CNN을 포함하여 다층 NN의 매력은 학습을 통해 입력 데이터로부터 좋은 특징을 추출할 수 있다는 것이다. 다층 NN의 학습에는 또 한 가지 매력적인 점이 있다. 서로 다른 인식 과업 사이에 학습되는 특징에 공통점이 있다는 것이다.
_200쪽

이번 장에서는 음성 인식에 딥 러닝을 적용한 사례와 함께 현재 활발히 연구되고 있는 기술을 소개하였다. 음성 인식의 입력과 출력은 서로 성질이 크게 다른 시계열 데이터이므로 다른 응용 분야와 조금 다른 구조를 갖는 모형을 이용하는 경우가 많다. 그러나 이렇게 성질이 서로 다른 응용 분야에서도 딥 러닝 기술이 도입됨으로써 전문가가 세심하게 설계한 특징 추출 과정이 학습 가능한 구성 요소가 이어지는 형태로 치환될 수 있었다.
_249쪽