추가 적립 안내

『밑바닥부터 시작하는 딥러닝』 시리즈, 이번엔 강화 학습이다!
강화 학습 핵심 이론부터 문제 풀이, 심층 강화 학습까지 한 권에!

이 책의 특징은 제목 그대로 ‘밑바닥부터 만들어가는 것’입니다. 속을 알 수 없는 외부 라이브러리에 의존하지 않고 강화 학습 알고리즘을 처음부터 구현하면서 배웁니다. 그림으로 원리를 이해하고 수학으로 강화 학습 문제를 풀어본 다음, 코드로 구현해 배운 내용을 되짚어봅니다. 코드는 최대한 간결하면서도 강화 학습에서 중요한 아이디어가 명확하게 드러나도록 짰습니다. 단계적으로 수준을 높이면서 다양한 문제에 접할 수 있도록 구성하였으니 강화 학습의 어려움과 재미를 모두 느낄 수 있을 것입니다.

강화 학습 마스터의 지름길은 기초를 다지는 것!

딥러닝은 매우 핫한 분야여서 하루가 멀다 하고 새로운 알고리즘과 응용 사례가 발표되고 있습니다.
엄청난 발전 속도에 따라 관련 기술과 서비스도 빠르게 진화해서, 이전에는 유행이었던 것들이 지금은 사라지기도 합니다. 하지만 한편으로는 변하지 않고 전해져 내려오는 것도 있죠. 이 책에서는 배우는 지식이 바로 그 변하지 않는 것입니다.

강화 학습의 기초를 이루는 아이디어와 기술은 예나 지금이나 변함이 없습니다. 최신 알고리즘도 오래전부터 존재해온 아이디어를 토대로 합니다. 강화 학습의 기본 원리, 마르코프 결정 과정, 벨만 방정식, Q 러닝, 신경망 등과 같은 주제는 앞으로도 변함없이 중요하게 여겨질 것입니다. 따라서 현재의 강화 학습, 나아가 심층 강화 학습까지 이해하려면 강화 학습의 기초부터 차근차근 학습하는 것이 오히려 지름길입니다.

파이썬과 수학에 대한 기초만 있다면 읽을 수 있도록 수식 기호 하나하나, 코드 한 줄 한 줄 친절히 설명합니다. 이 책으로 강화 학습의 기초를 제대로 배우고 ‘변하지 않는 것’의 아름다움을 맛보기 바랍니다. 여러분 곁에 포스가 함께 하기를…

대상 독자
- 강화 학습의 원리를 제대로 배우고자 하는 독자
- 딥러닝을 더 깊게 이해하고 싶은 개발자
- 파이썬 지식이 있으며 딥러닝과 강화 학습에 흥미가 있는 데이터 과학 입문자

주요 내용
- 여러 후보 가운데 가장 좋은 것을 순차적으로 찾는 '밴디트 문제' 풀어보기(1장)
- 일반적인 강화 학습 문제를 ‘마르코프 결정 과정’으로 정의하기(2장)
- 마르코프 결정 과정에서 최적의 답을 찾는 데 핵심이 되는 ‘벨만 방정식’ 도출하기(3장)
- 벨만 방정식을 풀기 위한 방법: 동적 프로그래밍(4장), 몬테카를로법(5장), TD법(6장)
- 딥러닝에 대해 알아보고 딥러닝을 강화 학습 알고리즘에 적용하기(7장)
- DQN을 구현하고 DQN을 확장한 방법 알아보기(8장)
- DQN과는 다른 접근법: ‘정책 경사법’ 알고리즘(9장)
- A3C/DDPG/TRPO/레인보우 알고리즘과 심층 강화 학습(10장)

이종우(데이터온 플랫폼개발1팀 팀장)
이전 시리즈들의 성공을 바탕으로 더 깊이 있는 내용과 실질적인 예제들로 독자의 학습 경험을 풍부하게 만들어주는 책입니다. 최신 기술과 알고리즘을 쉽고 명확하게 설명하면서 독자에게 실용적인 지식을 제공합니다. 이 책을 통해 딥러닝의 복잡한 개념들을 체계적으로 이해하고 문제 해결에 활용할 능력을 기를 수 있을 것입니다.

이영빈(모두의연구소 AI교육)
강화 학습 특성상 바로 실습에 들어가기보다는 기본적인 개념을 먼저 알아가는 것이 중요한데, 이번 책은 강화 학습 기초 개념을 훌륭하게 잡고 있다고 생각합니다. 강화 학습을 처음 공부하는 분에게 추천합니다.

윤명식(메가존클라우드 데이터 아키텍트)
딥러닝 기본 지식부터 강화 학습의 핵심 개념과 알고리즘을 체계적이고 알기 쉽게 설명합니다. 풍부한 그림과 예제가 이해하는 데 도움이 되고 실습 코드로 직접 구현해볼 수도 있습니다. 이 책은 강화 학습 기초 지식을 쌓고 싶거나, 실제 문제에 강화 학습을 적용하고 싶거나, 딥러닝을 깊게 이해하고 싶은 독자에게 추천합니다.

신년기(에이판다파트너스 상무, 『20년 차 신 부장의 채권투자/경제지표/금융지표 이야기』 저자)
이 책은 저 같은 초보자도 강화 학습 알고리즘을 쉽게 익힐 수 있도록 안내하고 있습니다. 반복해 읽으면서 코드를 따라 해보기를 추천합니다. 저 역시 한 번 완독 후 또 읽으니 기존에 알던 내용은 되새김질하고 부족한 부분은 다시 알게 되었습니다.

송진영(데이터 분석가)
이번에는 강화 학습을 다루고 있어 수식도 많고 개념 자체가 어렵기도 하지만 그렇기에 이 책은 가치가 있습니다. 강화 학습을 다룬 책이 많지 않은 데다가, 수식과 그림을 통해 강화 학습을 배울 수 있고 직접 코드로 구현해볼 수 있기 때문입니다. 『밑바닥부터 시작하는 딥러닝』 시리즈를 좋아하는 분은 이 책도 좋아할 거라고 생각합니다.

박선욱(한국예탁결제원 전자등록서비스팀 팀장, 백엔드 개발자)
수학을 두려워하지 마세요. 이 책은 수학을 코드로 살펴볼 수 있는 책입니다. 저자는 쉽지 않은 수식을 개발자에게 어떻게 이해시켜야 하는지 명확히 알고 있습니다. 바로 코드입니다. 수식을 알려주고 그에 매핑되는 코드도 설명하기 때문에 머릿속에서 수식을 시뮬레이션해볼 수 있습니다. 실제 코드 수행 결과도 볼 수 있어서 더욱 학습하기 좋은 책입니다.

김동억(백엔드 개발자)
『밑바닥부터 시작하는 딥러닝』 시리즈 4편에서는 강화 학습의 원리를 설명하고 코드로 구현하고 있습니다. 설명만으로는 이해하기 어려운 부분을 직접 구현해봄으로써 이해하기 쉽도록 도와줍니다. 어려운 수식에 대한 친절한 설명, 이해를 돕는 적절한 그림 그리고 깔끔하게 구현된 코드가 잘 조화된 도서라고 생각합니다. 강화 학습에 입문하는 분에게 추천합니다.

강찬석(LG전자 소프트웨어 엔지니어)
강화 학습 특성상 방법론마다 수식을 증명하는 것이 다소 복잡할 수 있지만 이 책은 그림과 예시를 더해 이해하기 쉽습니다. 『밑바닥부터 시작하는 딥러닝』 시리즈의 다른 책들처럼 초반에는 이론을 설명하고 이에 기반해 구현하도록 구성되어 있습니다. 직접 실습하면서 강화 학습 관련 지식을 배우고자 하는 독자에게 도움이 되리라 생각합니다.

조원양(스마트사운드 AI융합팀 팀장)
강화 학습은 다양한 분야에서 활용되는 매력적인 기술이지만 깊이 연구할수록 수학의 중요성이 부각됩니다. 또한 견고한 이론 기반이 필요합니다. 이 책은 『밑바닥부터 시작하는 딥러닝』 시리즈의 전작들처럼 점진적으로 강화 학습의 핵심 이론을 체계적으로 이해할 수 있도록 잘 구성되어 있습니다. 강화 학습에 첫발을 내딛는 초심자에게 이상적인 가이드입니다.

장대혁(NLP 개발자)
『밑바닥부터 시작하는 딥러닝』 시리즈는 이 분야를 공부하는 사람이라면 필독서입니다. 이번 책은 LLM의 근간을 이루는 강화 학습에 대한 기초를 다루어 굉장히 시의적절하다고 생각합니다. 수학을 잘 몰라도 읽는 데 큰 무리는 없습니다. 강화 학습에 대한 기초 이론과 개념을 잡고자 한다면 이 책으로 시작하기를 강력히 권합니다. ‘밑바닥’이라고는 하지만 쉽지는 않습니다. 그러나 소화하기 위해 최선을 다한다면 어느새 성장한 자신을 만나게 될 것입니다.

강민재(성균관대학교 전자전기공학부)
기본 알고리즘부터 최신 알고리즘까지 체계적으로 설명하여 입문자도 강화 학습의 기본기를 탄탄하게 다질 수 있습니다. 단순한 프레임워크 사용법 소개를 넘어, 수식과 예시를 통해 원리부터 실제 적용 방법까지 학습할 수 있어 강화 학습을 제대로 배우고자 하는 분에게는 최고의 책이 될 것입니다.
_강민재, 성균관대학교 전자전기공학부

CHAPTER 1 밴디트 문제
_1.1 머신러닝 분류와 강화 학습
_1.2 밴디트 문제
_1.3 밴디트 알고리즘
_1.4 밴디트 알고리즘 구현
_1.5 비정상 문제
_1.6 정리

CHAPTER 2 마르코프 결정 과정
_2.1 마르코프 결정 과정(MDP)이란?
_2.2 환경과 에이전트를 수식으로
_2.3 MDP의 목표
_2.4 MDP 예제
_2.5 정리

CHAPTER 3 벨만 방정식
_3.1 벨만 방정식 도출
_3.2 벨만 방정식의 예
_3.3 행동 가치 함수(Q 함수)와 벨만 방정식
_3.4 벨만 최적 방정식
_3.5 벨만 최적 방정식의 예
_3.6 정리

CHAPTER 4 동적 프로그래밍
_4.1 동적 프로그래밍과 정책 평가
_4.2 더 큰 문제를 향해
_4.3 정책 반복법
_4.4 정책 반복법 구현
_4.5 가치 반복법
_4.6 정리

CHAPTER 5 몬테카를로법
_5.1 몬테카를로법 기초
_5.2 몬테카를로법으로 정책 평가하기
_5.3 몬테카를로법 구현
_5.4 몬테카를로법으로 정책 제어하기
_5.5 오프-정책과 중요도 샘플링
_5.6 정리

CHAPTER 6 TD법
_6.1 TD법으로 정책 평가하기
_6.2 SARSA
_6.3 오프-정책 SARSA
_6.4 Q 러닝
_6.5 분포 모델과 샘플 모델
_6.6 정리

CHAPTER 7 신경망과 Q 러닝
_7.1 DeZero 기초
_7.2 선형 회귀
_7.3 신경망
_7.4 Q 러닝과 신경망
_7.5 정리

CHAPTER 8 DQN
_8.1 OpenAI Gym
_8.2 DQN의 핵심 기술
_8.3 DQN과 아타리
_8.4 DQN 확장
_8.5 정리

CHAPTER 9 정책 경사법
_9.1 가장 간단한 정책 경사법
_9.2 REINFORCE
_9.3 베이스라인
_9.4 행위자-비평자
_9.5 정책 기반 기법의 장점
_9.6 정리

CHAPTER 10 한 걸음 더
_10.1 심층 강화 학습 알고리즘 분류
_10.2 정책 경사법 계열의 고급 알고리즘
_10.3 DQN 계열의 고급 알고리즘
_10.4 사례 연구
_10.5 심층 강화 학습이 풀어야 할 숙제와 가능성
_10.6 정리

APPENDIX A 오프-정책 몬테카를로법
A.1 오프-정책 몬테카를로법 이론
A.2 오프-정책 몬테카를로법 구현

APPENDIX B n단계 TD법

APPENDIX C Double DQN 이해하기
C.1 DQN에서의 과대적합이란?
C.2 과대적합 해결 방법

APPENDIX D 정책 경사법 증명
D.1 정책 경사법 도출
D.2 베이스라인 도출