추가 적립 안내

이 책은 통계학 분야에서 직면하게 되는 많은 계산 문제들을 해결하는 EM 알고리즘, 마르코프체인몬테카를로(Markov chain Monte Carlo, MCMC) 및 변분추론(Variational Inference, VI)인 세 가지 방법들을 소개한다. 이들을 기본적으로 해결하는 몬테카를로 방법을 먼저 설명한다.
첫 번째로, 주로 빈도주의자(frequentist) 관점에서 최대우도추정량을 구하기 위하여 사용되는 EM 알고리즘으로 널리 알려진 기대-최대화(Expectation-Maximization) 알고리즘을 다룬다. 이것은 불완전-자료(incomplete-data) 문제로 가장 잘 설명되는 다양한 상황들에서 최대우도추정을 위한 범용 알고리즘이다.
두 번째로, 지난 30년 동안 또는 그 이상 베이지안통계학자들에게 가장 영향력을 미친 마르코프체인몬테카를로 방법들은 통계계산을 혁신하였으며, 여기서 이를 다루고자 한다. 그들은 복잡한 모형들을 가정하고 수산과학 및 경제학과 같은 다양한 놀라운 분야들에서도 사용을 허용함으로써 심오하게 베이지안통계학의 응용에 상당한 영향을 미쳤다. 물론 베이지안들만이 MCMC를 사용하여 혜택을 볼 수 있는 유일한 것들이 아니고, 다른 통계 설정에서도 MCMC의 사용들이 계속 증가하고 있다. MCMC의 실질적인 중요성은 또한 근본적인 마르코프체인 이론에 대한 광범위하고 심층적인 조사를 촉발시켰다. 마르코프체인몬테카를로 방법들은 통계계산을 더욱더 혁신하였다. MCMC 방법의 사용이 성숙함에 따라 더 깊은 이론적 질문들이 해결되고, 더 복잡한 응용 프로그램이 수행되며, 그 사용이 새로운 연구 분야로 확산되어 간다. 이 책은 광범위한 청중을 위한 참고 자료가 되고 MCMC 방법론의 개발자와 사용자 모두에게 사용될 수 있다. 이 장은 기본 이론, 알고리즘 및 응용 프로그램에 익숙하기를 원하는 MCMC에 대한 새로운 연구원들뿐만이 아니라 대학원생의 이해를 돕기 위한 입문 내용들이 있다. 이 책은 또한 새롭고 진보된 MCMC 방법들의 개발 또는 응용에 관련된 사람들에게 특별한 관심이 있다.
마지막으로, 현대 통계학의 핵심 문제 중 하나는 계산하기 어려운 확률밀도를 근사하는 것이다. 이 문제는 알 수 없는 정량들에 대한 모든 추론을 사후밀도와 관련된 계산으로 구성하는 베이지안통계학에서 특히 중요하다. 변분추론(variational inference, VI)은 최적화를 통해 확률밀도를 근사하는 기계학습 방법이다. 변분추론은 MCMC 알고리즘에 대한 대안적 전략으로 베이즈 모형들에 대한 사후밀도를 근사하는 데 널리 사용된다. VI는 많은 응용 분야에서 사용되며, 고전적 방법인 MCMC의 정확도를 일부 희생시키지만 계산 속도 측면에서는 엄청난 개선을 제공한다. 대규모 문서의 해석, 전산 신경과학 및 컴퓨터 비전과 같은 문제들에 잘 적용되었다. 또한 동기 부여가 되는 예로는 확률적 그래프 모형, 은닉 마르코프 모형, 계통수(phylogenetic trees) 등이 포함된다. VI의 아이디어는 먼저 밀도들의 족을 가정하고, 목표 밀도에 가까운 족의 성분을 찾는 것이다. 가까움은 쿨백-라이블러 발산에 의해 측정된다. 평균장(mean-field)의 변분추론 배후에 있는 아이디어를 복습하고, 지수-족 모형에 적용되는 VI의 특별한 경우에 대해 논의하고, 베이지안 가우시안 혼합분포들을 예제들로 제시하고, 확률적 최적화를 사용하여 대규모 자료로 확장하는 변형을 도출한다. VI는 현대 연구에서 강력하지만 아직도 해결하지 못한 중요한 문제들이 많이 있음을 강조한다.
이 책은 학부 통계학전공 심화과정 및 대학원생을 대상으로 한 교과서이다. 독자가 몬테카를로 기법(예: 확률변수 생성) 또는 마르코프체인 이론에 익숙하다고 가정하지 않는다.

제1장 몬테카를로(Monte Carlo) 방법
1.1 몬테카를로 방법 3
1.2 합성방법 6
1.3 기각표집 방법 9
1.4 적응적 기각표집(Adaptive Rejection Sampling, ARS) 13
1.5 중요도 표집법(Importance Sampling) 15
1.6 표집 중요도 재표집법(Sampling-Importance Resampling, SIR) 19

제2장 EM 알고리즘
2.1 EM(Expectation-Maximization) 알고리즘의 기본개념 24
2.2 EM 알고리즘의 예제들 52
2.3 EM 알고리즘의 수학적 이론 73
2.4 표준오차 및 수렴가속 101
2.4.1 관측정보행렬 102
2.5 EM 알고리즘의 확장 121
2.6 EM 알고리즘의 몬테카를로 버전 186
2.7 MM 알고리즘 200
2.7.1 MM 알고리즘의 원리 202

제3장 마르코프체인몬테카를로(MCMC)
3.1 베이지안 추론과 깁스샘플러의 소개 214
3.2 마르코프 사슬의 일반적 개념 229
3.3 MCMC의 구성, 출력의 사용 및 수렵진단 258
3.4 깁스샘플러 271
3.5 분할 샘플러(Slice Sampler) 305
3.6 메트로폴리스-하스팅스 샘플러(Metropolis-Hastings sampler, MH) 312
3.7 다양한 베이지안 모형들 346
3.8 MCMC 수렴성 375
3.9 변수차원 모형 및 가역 점프 MCMC 414

제4장 변분추론(Variational Inference, VI)
4.1 서론 448
4.2 변분추론의 개념 453
4.3 변분적 다변량 정규혼합모형 472
4.4 변분회귀모형(Variational Regression Model) 480
4.5 변분정규선형혼합효과모형 486
4.6 변분적 프로빗 회귀모형 490
4.7 지수-족에서 변분추론 492
4.8 확률변분추론(Stochastic Variational Inference, SVI) 495
4.9 변분적 EM 방법 499
4.10 국소적 변분 방법 528
4.11 기댓값 전파(Expectation Propagation, EP) 541
4.12 변분추론의 이론 550
4.13 일반화 선형혼합모형에 대한 정규변분근사추론 551
4.14 변분적 빈도주의자 추론 567

참고문헌 571
？？찾아보기 602