추가 적립 안내

인공지능, 초연결, 초지능, 자율주행까지
모든 혁신은 딥러닝에서 시작되었다

4차 산업혁명, AI 시대의 미래를 예측하려면
딥러닝에 주목하라

‘스마트폰 혁명’ 이후의 새로운 패러다임은 무엇일까. 누구도 경험하지 못한 미래가 다가오고 있다. ‘딥러닝 혁명’이 바로 그것이다. 딥러닝 혁명에서 시작된 변혁은 산업, 교육, 경제, 문화, 전 영역에 걸쳐 가시화되고 있다. 새로운 패러다임 등장은 필연적으로 승자와 패자를 낳는다. 발 빠르게 적응하는 이와 그렇지 못한 이가 나뉘는 것이다. 얼마 전 소프트뱅크 손정의 회장이 문재인 대통령을 만나 자리에서 “첫째도 AI, 둘째도 AI, 셋째도 AI”라고 힘주어 말했다. 인공지능에 기업과 국가의 경쟁력이 달려 있으며, 인공 지능 개발에 모든 역량을 집중해야 한다는 것이었다. 실제로 4차 산업혁명 열풍과 알파고 충격 이후, 인공지능은 제조업, 통신, 자동차, 서비스업 등 산업뿐만 아니라 교육, 의료, 법조, 행정 등 우리 생활 모든 영역에 깊숙이 들어왔다. 빅데이터와 인공지능이 결합된 서비스가 나의 욕구를 나보다 먼저 정확하게 알고 상품을 추천을 해주는 일은 이제 너무 당연해서 특별하게 느껴지지 않을 정도다.

이제는 앞을 내다보는 질문이 필요한 시점이다. 이와 같은 변화가 어디서 시작되었고, 앞으로 어떻게 될 것이며, 나아가 우리는 무엇을 준비해야 하는지 말이다. 《딥러닝 레볼루션》의 저자 테런스 J, 세즈노스키는 인공지능 발전에 결정적 역할을 한 것이 딥러닝이라고 말한다. 딥러닝 없이는 지금과 같은 변화가 없었을 것이며, AI 시대의 미래를 예측하기 위해서는 딥러닝을 알아야 한다는 것이다. 모두의 각광을 받고 있는 빅데이터, 초연결, 자율주행 역시 딥러닝 없이는 불가능했을 성과다. “아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다”는 말이 이를 압축적으로 보여준다.

이 책에서 신경과학과 머신러닝 분야의 대가인 세즈노스키는 통찰력 있게 인공지능의 과거와 현재를 돌아보고 미래를 조망한다. 딥러닝은 지금까지 이뤄낸 변화보다 앞으로 훨씬 큰 변화를 가져올 것이다. 하지만 여기에는 ‘궁극적으로’라는 단서가 붙는다. 그 시기가 앞당겨질지 아닐지, 발전의 결과물을 유리하게 이용할지 못할지는 전적으로 우리가 어떻게 하느냐에 달려 있다.

제조업, 통신, 자동차, 서비스, 교육, 의료, 법조, 행정까지
게임의 규칙을 바꾸고 있는 인공지능

인공지능은 어디까지 왔고, 어디로 향할 것인가
인공지능은 과연 인간의 지능을 따라잡을 수 있을 것인가

자율주행 자동차, 인공지능과 머신러닝을 통한 의료 진단, 딥러닝 시스템을 통한 법률 상담, 자동 거래를 통한 막대한 이익 등은 딥러닝 혁명이 만들어낸 변화들이다. 자율주행과 의료 영역을 중심으로 그 발전 양상을 좀 더 자세히 살펴보자.
자율주행차가 불러올 변화는 운전으로부터의 해방과 도로 주행이 보다 안전해지는 수준을 훨씬 넘어선다. 우선 언제 어디서든 자율주행차를 쓸 수 있게 되면 자연스럽게 소유 개념이 달라질 것이다. 부르자마자 1분 만에 인공지능이 안전하게 운전하는 자동차가 온다면 굳이 차를 소유할 필요가 없기 때문이다. 자율주행 자동차가 상용화되고 도시 밖에 주차를 하는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 생산적인 목적으로 재활용될 것이다. 실제로 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다. 이는 도시의 형태를 완전히 뒤바꿀 것이다. 자동차와 관련된 여러 산업군이 영향을 받는 것은 물론이다. 보험사와 정비소가 대표적이다.
의료계는 어떨까. 머신러닝이 발전하고 빅데이터를 이용할 수 있는 여러 문제에 적용됨으로써 변혁을 겪게 될 전망이다. 의료 진단이 대표적인 예다. 환자 수백만 명의 기록을 활용할 수 있게 되면서 더욱 정확해질 것이다. 암 진단에서 딥러닝의 예측과 전문의의 판단이 결합된 경우 0.995라는 거의 완벽한 정확도가 나왔다. 인간과 인공지능이 힘을 합쳤을 때 더 나은 수행력이 나온 이유는 전문의와 딥러닝 네트워크가 동일한 자료를 서로 다른 방식으로 보기 때문이다. 이는 곧 인간과 기계가 경쟁하기보다는 공조하는 미래가 열릴 것이며 보다 많은 생명을 살릴 수 있게 될 것이라는 의미다.
이와 같은 놀라운 변화는 수많은 데이터를 해석하고 응용하게 됨으로써 가능해졌다. 그리고 여기서 핵심적인 역할을 하는 것이 머신러닝과 딥러닝이다. 세즈노스키 교수는 이렇게 말한다. “데이터를 가공해 정보로 만들어내는 정제소 역할을 하는 것이 머신러닝(딥러닝)이다. 아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다.” 머신러닝과 딥러닝 없이는 수많은 데이터도 의미가 없다는 뜻이다.
한편 인공지능 개발 초기, 많은 연구자들은 로직을 통해서 인공지능을 구현할 수 있다고 생각했다. 그리고 이들이 주류 학파의 위치를 점하고 있었다. 세즈노스키는 이에 대해 도전장을 내밀었다. 인공지능을 현실화시키기 위해서는 인간이 학습하고 응용하는 방식을 이해해야 하는데, 인간은 로직을 통해서 학습하지 않는다는 것이었다. 이는 인공지능을 신경과학과 떼놓고 말할 수 없는 이유이기도 하다.
세즈노스키를 비롯한 몇몇 과학자들이 개발한 AI의 새로운 버전은 로직 대신 데이터를 기반으로 하는 방식이었다. 딥러닝은 아기가 세상을 경험하는 것과 동일한 방식으로 데이터를 통해 학습한다. 그렇게 새로운 눈으로 출발하여 처음 접하는 환경을 다루는 데 필요한 기술을 하나씩 습득해나가는 것이다. 학습 알고리즘은 원시 데이터에서 정보를 추출해 그런 정보로 지식을 만들고 그런 지식을 이해의 토대로 삼으며 그런 이해로 지혜를 쌓는다. 물론 이와 같은 모델은 초기에 데이터를 확보하는 데 어려움을 겪었고, 컴퓨터가 데이터를 처리할 만큼의 수준에 오르지 못해 발전 속도가 더뎠다.
하지만 2016년 알파고를 통해서 전 세계가 똑똑히 보았다. 딥러닝이 세상의 모든 것을 변화시키는 인공지능 혁명의 중심에 서게 된 것을 말이다. “알파고가 이겼다, 우리는 달에 착륙했다.” 2016년 봄 인공지능 바둑 프로그램 알파고가 이세돌 9단을 꺾은 직후, 구글 딥마인드 최고경영자 데미스 허사비스가 트위터에 올린 글이다. 인공지능 개발의 성취와 앞으로 펼쳐질 인공지능의 역사에 새로운 출발을 알리는 상징적인 사건이었다.
달에 도착한 다음에는, 달에서 어떻게 잘 살아갈지를 고민해야 한다. 인공지능은 과연 인간의 지능을 뛰어넘을 수 있을 것인가? 머신러닝과 딥러닝은 어떤 미래를 가져다 줄 것인가? 저자는 인간 지능의 진화와 인공지능의 진화라는 두 개의 축으로 위 질문에 대한 답을 풀어간다. 분명한 건 인공지능의 발전은 인간의 지능에 대한 이해와 따로 떼놓고 얘기할 수 없으며, 인간에 대한 이해가 곧 인공지능의 발전으로 이어질 것이라는 점이다. 저자는 말한다.

현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 펼쳐놓고 있지만, 어느 누구도 그것들의 궁극적인 영향은 예측할 수 없을 것이다. 사실 우리에게 주어진 선택지는 별로 없다. 제대로 알고, 미리 준비하는 것. 이상적 시나리오든, 종말론적 시나리오든 미래의 방향 또한 사전 준비에 들인 노력과 시간에 의해 달라질 것이다. 한 가지는 확실하다. 인공지능과 관련한 모든 기술은 가공할 만큼 빠르게 발전하고 있으며, 인간 사회의 모든 영역에 걸쳐 영향을 끼치고 있다. 기술의 발전 속도와 영향의 정도는 날로 높아지고 있는데, 안전벨트에 몸을 맡긴 채 움츠리는 것은 올바른 반응이 아닐 것이다.

머신러닝 및 신경과학 분야 최고 학회 NeurIPS 의장이 말하는 인공지능의 모든 것
인공지능, 머신러닝, 딥러닝을 제대로 알고 싶다면
첫 번째로 봐야 할 책!

《딥러닝 레볼루션》은 총 3부에 걸쳐 인공지능과 딥러닝의 활용 현황, 인공지능으로 변화할 미래 모습과 이를 대하는 관점, 인공지능과 딥러닝 기술의 발전 과정에 대해서 이야기한다. 1부 경우 딥러닝의 실제 적용 사례를 사례를 들어가며 현재의 발전상을 보여준다. 주식거래, 자율주행차, 교육, 게임, 헬스케어, 번역, 음성인식, 사물인식 등이다. 2부에서는 미래의 인공지능 기술에 대한 조망과 더불어 인공지능과 관련 기술을 바라보는 다양한 관점을 보여준다. 대가의 시선으로 앞으로 펼쳐질 변화의 모습을 가늠해보고, 인공지능에 대한 다양한 시각을 접하는 기회가 될 것이다. 마지막 3부에서는 인공지능과 딥러닝 발전 과정에 있었던 다양한 연구와 그 사이 등장한 여러 알고리즘의 원리와 직관을 차근차근 살펴본다. 저자의 깊이 있는 설명을 통해, 인공지능 발전의 역사와 머신러닝의 이론적 기초를 이해할 수 있을 것이다.
세즈노스키 교수는 현재 인공지능 분야 최고 학회인 NeurIPS의 의장이며, 2018년 한국에서 과기정통부 주최로 열린 ‘2018 인공지능 국제컨퍼런스’에 기조연설자로 참여한 바 있다. 또한 노벨상의 산실인 소크생물학연구소의 석좌교수로 재직 중이다. 머신러닝과 신경과학 분야의 세계적 권위자가 몇 십 년에 걸친 경험과 연구를 집대성한 기록인 만큼 이 책은 쉽지만은 않다. 다행인 점은, 그가 뛰어난 작가라는 사실이다. 공학적인 차원에서 전문가만 이해할 수 있는 책이 아니라 누구든 약간의 노력을 기울인다면 이해할 수 있는 책을 써냈다. 또한 제프리 힌튼, 프랭크 로젠블랫, 마빈 민스키, 놈 촘스키 등 인공지능 분야뿐만 아니라 현대 지성사에서 빼놓을 수 없는 학자들의 생생한 일화와 치열한 논쟁이 곳곳에 담겨 있어 한 편의 역사책을 읽는 듯한 기분이 들게 한다.
만약 누군가 인공지능, 머신러닝, 딥러닝에 알고자 한다면 《딥러닝 레볼루션》은 첫 번째 리스트에 올려야 하는 책이다. 그리고 이 책을 읽은 사람과 읽지 않은 사람의 차이는 크게 날 것이다.

[책속으로 이어서]
1939년도에 상영된 고전 뮤지컬 영화 〈오즈의 마법사〉에서는 허수아비가 〈내게 뇌만 있다면(If I Only Had a Brain)〉이라는 노래를 부른다. 허수아비가 몰랐던 것은 그가 이미 뇌를 갖추고 있었다는 사실이다. 뇌가 없었다면 노래는커녕 말도 한마디 못했을 것이다. 다만 그의 뇌는 생긴 지 고작 이틀밖에 안 된 상태였고, 따라서 그의 진정한 문제는 뇌가 아니라 경험의 부재였다. 시간이 흐르면서 그는 세상에 대해 배워나가고 결국은 오즈의 모든 인물 가운데 가장 현명한 존재로 인정받는다. 그는 자신의 한계를 알 정도로 현명했다. 대조적으로 틴 우드맨(Tin Woodman)은 〈내게 심장만 있다면(If I Only Had a Heart)〉을 불렀다. 그와 허수아비는 뇌를 갖는 것과 심장을 갖는 것 가운데 어느 것이 더 중요한지를 놓고 열띤 토론을 벌였다. 실세계에서는 물론이고 오즈에서도 인지와 감성이 조화를 이뤄 행동과 학습에 정교한 균형을 가하며 인간 지능을 창출한다. 이 고전 뮤지컬을 인용한 이유는 이 장의 주제가 ‘인공지능에 뇌와 심장만 있다면(If AI Had Only a Brainand a Heart)’이기 때문이다.
_ 4장: 두뇌 방식의 컴퓨팅

오늘날 머신러닝 알고리즘은 수천 개의 뉴런으로부터 생성되는 동시 기록의 분석, 자유롭게 움직이는 동물의 복잡한 행동 데이터의 분석, 순차적 전자현미경 디지털 이미지의 3차원 해부학적 회로 재구성의 자동화 등에 사용되고 있다. 인간의 뇌를 역설계한다면 자연에 의해 발견된 수많은 새로운 알고리즘에 대해 알 수 있을 것이다.
_ 6장: 머신러닝의 미래

기초과학에 의해 개발된 기술은 상용화되기까지 대략 50년의 시간이 소요된다. 20세기 초반 10여 년 동안 상대성과 양자기계 분야에서 이룩한 위대한 발견은 20세기 후반의 CD플레이어와 위성위치파악장치(GPS), 컴퓨터 등의 등장으로 이어진 바 있다. 1950년대의 DNA와 유전자 코드의 발견은 의학 분야의 애플리케이션과 기업식 농업의 발전으로 이어졌고 오늘날의 경제에까지 그 파급효과가 미치고 있다. 브레인 이니셔티브를 비롯한 전 세계의 다른 뇌 연구 프로그램을 통해 지금 이뤄낸 기초적인 성과는 앞으로 50년 후 등장할 애플리케이션의 단초가 될 것이다. 현재의 시각으로 본다면 공상과학소설이나 다름없을 50년 후의 세상에서 말이다.16 2050년까지 인간의 뇌에 상응하는 인공지능을 위한 운영체제가 만들어질 것이라는 기대도 해볼 수 있다. 그러나 어느 기업이, 어느 나라가 이 기술에 대한 통제권을 거머쥐게 될 것인가는 지금 얼마나 투자를 하며 얼마나 크게 판돈을 거느냐에 달려 있다.
_ 9장: 내부 정보

사람의 얼굴과 같이 수많은 유사한 객체들을 구별하는 데 얼마나 많은 피질 뉴런이 필요한가? 이미지 연구를 통해 우리는 인간의 뇌에서 다수의 영역이 얼굴에 대해 반응을 보인다는 것을 알게 되었다. 그중 일부는 매우 높은 민감도를 보이는 것으로 나타났다. 그러나 이들 영역들 사이에서도 하나의 얼굴에 연관된 정보는 수많은 뉴런들에 넓게 배분되어 있다. 캘리포니아공과대학교의 도리스 차오(Doris Tsao)는 얼굴에 선택적으로 반응하는 원숭이의 피질 뉴런 신호를 기록하고 200개의 얼굴 세포로부터 나오는 인풋을 조합해 얼굴을 재구성하는 것이 가능하다는 것을 보여준 바 있다. 이것은 얼굴에 선택적으로 반응하는 모든 뉴런의 하위집합 중 비교적 작은 규모라 할 수 있다.
_ 10장: 의식

오늘날의 시각에서 본다면, 촘스키는 중대한 사안이 무엇인지 이해하고 있었다는 것을 알 수 있다. 다만 촘스키는 학습의 힘을 간과했던 것이다. 딥러닝은 뇌의 뉴럴 네트워크와 마찬가지로 뉴럴 네트워크 모델이 촘스키가 ‘신비주의’라고 일축했던 ‘일반화’ 역량을 보유할 수 있다는 것을 입증했다. 또한 다양한 언어들 중에서 선택적으로 인지하도록 학습될 수 있고 서로 다른 언어를 번역하고 완벽한 구문론을 적용하여 이미지의 캡션을 생성할 수도 있음을 보여줬다. 궁극적인 아이러니는 머신러닝이 자동 문장 구문 분석의 문제를 해결했다는 것이다. 컴퓨터 언어학자들의 불굴의 노력에도 불구하고 촘스키가 말한 구문론의 ‘추상적 이론’이 해결하지 못했던 그것 말이다. 스키너가 개척한 동물실험 연구의 결과인 강화학습과 더불어 머신러닝은 목표 달성을 위한 일련의 선택에 의해 좌우되는 복잡한 문제들을 해결할 수 있다. 이것이 문제 해결의 정수이자 궁극적으로는 지능의 기반이 된다.
_ 11장: 자연은 인간보다 영리하다

돌이켜보면, 20세기 행동에 대한 정반대의 접근법을 취했던 행동주의와 인지과학은 뇌를 배제하는 똑같은 실수를 저지른 셈이다. 행동주의자들은 내적 검증에 의해 오도되기를 원치 않았기 때문에 지침을 얻기 위해 뇌의 내부를 들여다보지 않는 것을 명예롭게 생각했다. 그들은 블랙박스의 인풋과 아웃풋을 신중하게 통제함으로써 어떤 우발적 상황에서도 행동주의적 법칙을 발견할 수 있을 것이라 믿었다. 기능주의적 인지 과학자들의 입장은 정신의 내적 표상을 발견할 수 있을 것이라 믿으며 행동주의를 거부했다. 그러나 그들 또한 뇌가 내적 표상을 어떻게 이행하는지에 관한 세부 사항들은 무관하다고 믿었기 때문에 그들이 개발한 내적 표상의 기반은 신뢰할 수 없는 직관과 민족심리학이었다. 자연은 인간보다 영리하다.
_ 11장: 자연은 인간보다 영리하다

AI@50의 마지막 날에는 연회가 베풀어졌다. 저녁 식사가 끝날 무렵 1956년 인공지능에 관한 다트머스 여름 연구 프로젝트에 참가했던 5명의 원년 구성원들이 콘퍼런스와 인공지능의 미래에 대해 짤막하게 언급했다. 질의응답 시간에 나는 자리에서 일어나 민스키를 바라보며 이렇게 말했다. “뉴럴 네트워크 분야에서는 당신이 1970년대 뉴럴 네트워크가 동절기를 겪게 만든 악마라고 믿고 있습니다. 당신은 악마입니까?” 민스키는 우리가 어떻게 네트워크의 수학적 한계를 이해하지 못했는지에 대한 장황한 비판을 시작했다. 나는 그의 말을 가로채며 이렇게 물었다. “민스키 박사님, 저의 질문은 예 또는 아니오로 대답할 수 있는 간단한 것이었습니다. 당신은 악마입니까, 그렇지 않습니까?” 그는 잠시 망설이다가 이렇게 소리쳤다. “예, 나는 악
마입니다!”
_ 11장: 자연은 인간보다 영리하다

우리 인간은 가장 뛰어난 학습 능력을 보유하고 있다. 다른 어떤 생물 종보다 광범위한 주제에 대해 보다 빨리 학습할 수 있고 보다 많은 것을 기억하며 수세대를 거치며 더 많은 지식을 축적할 수 있다. 우리는 ‘교육’이라 불리는 기술을 창조해 평생 동안 학습할 수 있는 양을 증대시켰다. 어린이와 청소년들은 성장 기간 동안 교실에 앉아 살아가면서 결코 직접적으로 경험할 수 없는 것들을 학습할 수 있게 되었다. 비교적 최근에 인간이 발명한 읽기와 쓰기의 기술은 완전히 터득하기까지 수년간의 시간을 필요로 한다. 그러나 이들 발명품 덕분에 우리는 구전에 의한 것보다 더 많은 축적된 지식을 다음 세대로 전수할 수 있다. 누군가는 책을 쓰고 그것을 인쇄하거나 전시하고 많은 사람이 읽을 수 있기에 하는 말이다. 현대 문명의 발달이 가능했던 것은 음성 언어가 아니라 쓰기와 읽기 그리고 학습 덕분이다.
_ 12장: 심층 지능

우리는 여전히 고차원적 형태의 지능에 대한 비밀을 누설해줄 핵심 개념을 찾고 있다. 지금까지 몇몇 핵심 원리를 파악하기는 했지만 DNA가 생명의 본성을 구현하는 것만큼 고상한 방식으로 우리의 뇌가 어떻게 작동하는지 설명할 수 있는 개념적 틀은 갖추지 못하고 있다. 학습 알고리즘은 통합적 개념을 찾을 수 있는 훌륭한 장소다. 어쩌면 딥러닝 네트워크가 특정한 문제점을 해결하는 방법에 관한 연구를 통해 이뤄낸 진전으로 보다 많은 단서를 얻을 수 있을지도 모른다. 진화를 가능하게 만든 세포와 뇌의 운영 체계를 발견할 수도 있을 것이다. 만약 우리가 이 문제를 해결한다면 상상조차 어려운 혜택이 주어질지도 모른다. 자연이 한 개인보다 영리한 것은 사실이다. 그러나 우리 인간이 하나의 종으로서 언젠가 지능의 수수께끼를 풀지 못할 이유는 없다는 것이 나의 믿음이다.
_ 12장: 심층 지능

볼츠만 머신은 인풋과 아웃풋이 모두 고정된 지도 학습 버전과 인풋만 고정된 비지도 학습 버전 양쪽 모두로 이용할 수 있다. 힌튼은 비지도 학습 버전을 이용해 한 번에 한 층씩 심층 볼츠만 머신을 개발했다. 인풋 유닛과 연결된 숨겨진 유닛으로 이뤄진 층으로 시작해, 다시 말해 제한적 볼츠만 머신으로 분류되지 않은 데이터 세트를 학습하게 한 것이다. 분류되지 않은 데이터는 분류된 데이터에 비해 훨씬 쉽게 접할 수 있고, 학습 속도 또한 매우 빠르다(인터넷에는 수십억 개의 분류되지 않은 이미지와 오디오 기록들이 존재한다).
비지도 학습의 첫 번째 단계는 데이터로부터 모든 데이터에 공통으로 적용되는 통계적 규칙을 도출하는 것이다. 그러나 숨겨진 유닛의 첫 번째 층은 오직 단순한 특징만 추출할 수 있다. 퍼셉트론이 나타낼 수 있는 그런 단순한 특징 말이다. 그다음 단계는 첫 번째 층에 대한 가중치를 고정하고 그 위에 두 번째 층을 첨가하는 것이다. 볼츠만 머신의 비지도 학습이 많아질수록 보다 복잡한 특징의 집합으로 이어진다. 다층구조를 가진 심층 네트워크를 만들기 위해서 이 과정을 반복할 수 있다.
_ 14장: 홉필드 망과 볼츠만 머신

나는 힌튼, 데이비드 투어레츠키(David Touretzky)와 더불어, 뉴럴네트워크 관련 학과를 개설한 대학교가 극소수에 불과하던 1986년에 카네기멜론대학교에서 최초로 연결주의자 여름학교(Connectionist Summer School)를 개최했다. 학생들이 여러 층으로 줄지어 늘어서서 넷토크를 흉내낸 촌극을 공연하기도 했다. 줄지어 늘어선 학생들 각각이 네트워크의 유닛인 셈이었다. 여름학교에 참가한 학생들 중 상당수가 자신의 분야에서 중요한 성과를 거두며 화려한 경력을 구축했다. 1988년의 두 번째 여름학교 역시 카네기멜론대학교에서 개최되었다. 세 번째는 1990년 캘리포니아대학교 샌디에이고 캠퍼스에서였다. 새로운 아이디어는 주류에 편입되기까지 적어도 한 세대가 지나야 한다. 이 여름학교는 그런 초기 시절에 해당 분야의 연구를 활성화하기 위해 우리가 할 수 있는 최선의 투자였으며, 참가한 모두에게 강렬한 경험이 되었다.
_ 15장: 오류의 역전파

규칙화 기법 중에서 특히 기발한 것은 힌튼이 발명한 일명 ‘드롭아웃(dropout, 가중치를 전파할 때 무작위적으로 일부 노드를 끄는 방법-옮긴이)’이다. 훈련 사례의 수를 기반으로 경사도가 산출되고 가중치 공간에서 단계가 만들어졌을 때 학습이 이뤄지는 매 시기에 유닛의 절반이 무작위적으로 네트워크에서 떨어져나가게 만드는 기법이다. 이는 곧 매 시기마다 다른 네트워크도 학습이 이뤄진다는 의미다. 결과적으로 각 시기마다 훈련시켜야 할 매개변수가 적어지는 까닭에 매번 동일한 대규모 네트워크를 훈련시키는 경우보다 유닛 간 의존도를 낮출 수 있다. 드롭아웃으로 딥러닝 학습 네트워크의 오류 발생률을 10퍼센트 감소시킬 수 있었으며 이것은 상당한 개선이 아닐 수 없었다. 2009년 넷플릭스(Netflix)는 100만 달러의 상금을 수여하는 공개 대회를 개최하고 자사의 추천자 시스템의 오류 발생률을 10퍼센트 감소시키는 첫 번째 참가자를 찾았다. 머신러닝 분야의 거의 모든 대학원생들이 그 대회에 참가했다. 넷플릭스가 내건 100만 달러의 상금이 적어도 1,000만 달러의 가치를 갖는 연구 활동을 부추긴 셈이다. 현재 심층 네트워크는 온라인 스트리밍의 핵심 기술로 자리 잡은 상태다.
_ 15장: 오류의 역전파

머신러닝에서는 누구든 데이터를 가장 많이 보유하는 사람이 승자다. 페이스북은 다른 어느 곳보다 많은 사람들의 기호, 지인, 사진 데이터를 보유하고 있다. 이 모든 데이터로 페이스북은 나름의 마인드 이론을 창출해 우리가 무엇을 선호하는지 파악하고 정치적 성향은 어떠한지 예측하는 데 이용할 수 있었다. 언젠가 페이스북이 나 자신보다 나에 대해 더 많은 것을 알게 되는 날이 올지도 모를 일이다. 실로 페이스북은 오웰의 소설에 등장하는 빅 브라더의 화신이 될 것인가. 당신은 이것을 섬뜩한 전망이라고 생각하는가, 아니면 필요하면 언제든 시중을 들어주는 디지털 집사가 생겨 편리할 것이라 생각하는가? 과연 페이스북이 이런 힘을 가져도 되는 것인가? 이런 의문을 품는 것은 지극히 당연한 일이다. 그러나 우리는 이 문제에 대해 발언권을 갖지 못하게 될지도 모른다.
_ 18장: NIPS

데임 웬디 홀Dame Wendy Hall(영국 사우샘프턴대학교 컴퓨터과학 흠정강좌 교수)
매우 복잡한 주제를 이해하기 쉽게 설파한 대단한 책이다. 인공지능의 과거와 현재 그리고 가능한 미래를 설명하기 위해 뉴런 네트워크와 신경과학의 세계를 스토리텔링의 힘으로 적절히 결합해놓았다.

석준희(고려대학교 전기전자공학부 교수)
이 책은 인공신경망에 대한 과학적 신념을 바탕으로 이를 꾸준히 연구하고 발전시켜, 결국 딥러닝을 탄생시키고 인공지능의 부흥을 이끈 저자를 비롯한 여러 연구자들에 대한 서사이다. 신경생물학으로부터 어떻게 전산적 신경망 모델이 발전했는지, 현재 널리 사용되고 있는 딥러닝 기술 뒤에 숨어 있는 직관은 무엇인지, 세계 최고의 인공지능 학술 대회로 떠오른 NeurIPS는 어떻게 조직되었는지까지 딥러닝 기술 자체와 그 역사에 대한 많은 이야기를 담고 있다. 이 책을 통해 관련 전문가뿐만 아니라 인공지능에 관심이 있는 일반인까지 딥러닝을 이해하는 데 도움을 얻을 수 있을 것으로 생각한다.

김지연(성균관대학교 초빙교수 · 《4차 산업혁명 시대에 살아남기》 저자)
인공신경망 분야의 구루인 저자는 자신의 경험을 바탕으로 인간 지능의 진화와 인공지능의 진화라는 두 가지 주제를 깊이 있게 풀어내고 있다. 만만한 책은 아니지만 이 책을 읽은 사람과 읽지 않은 사람의 차이는 크게 날 것이다.

한상기(공학박사 · 테크프론티어 대표 · 과학기술 전문 서점 책과얽힘 주인장)
테런스 세즈노스키는 딥러닝 분야의 리더이며 개척자 중 한 명이다. 그가 30여 년간 딥러닝과 신경과학 분야의 최고 연구자들과 함께하고, 때로는 치열하게 경쟁한 역사를 이 책에서 상세하게 설명하고 있다. 최고 연구자들의 생각과 대화를 통해, 물리학과 생물학 그리고 신경과학 분야가 딥러닝과 인공지능 연구에 어떻게 영향을 주고 발전하게 했는가를 알 수 있는 책이다. 현재 진행하고 있는 인공지능의 다양한 연구 분야에 대한 그의 깊이 있는 통찰을 보여준다.

이광형(KAIST 바이오및뇌공학과 겸 문술미래전략대학원 교수)
딥러닝 네트워크는 아기가 세상을 경험하며 배우는 방식과 비슷하게 데이터를 통해 학습한다. 학습 알고리즘은 데이터에서 정보를 추출해, 그 정보로 지식을 만들고, 그 지식을 바탕으로 새로운 사실을 찾아낸다. 이와 같이 AI 속 깊은 이야기기 흥미진진하게 펼쳐진다.

송길영(마인드 마이너 · 《상상하지 말라》 저자)
혁신적 기술의 발전을 위해 노력한 연구자들의 이야기를 담은 딥러닝의 역사서이자, 그들이 꿈꾸는 미래의 인공지능에게는 창세기와 같은, ‘과거와 현재, 그리고 미래의 딥러닝을 한눈에 파악할 수 있는 가이드북’의 일독을 권합니다.

이어령(한중일비교문화연구소 이사장)
인공지능을 끔찍한 괴물이 아닌 ‘인공지혜’로 만들기 위해서는 어떤 성찰과 고민이 필요한지 모두 머리를 맞대야 할 때다. 저자의 통찰은 미래를 향한 넓고 깊은 논의의 토대가 되어줄 것이다.

빈트 서프Vint Cerf(구글 부사장)
딥러닝 혁명을 이끈 인물들과 그 역사에 대한 세즈노스키의 조예 깊은 안내로 통찰력과 재미를 본문 곳곳에서 접할 수 있다. 저자의 개인적인 경험과 더불어 질풍노도의 스토리가 책 전체에 스며들어 있다.

.

최완(한국전자통신연구원(ETRI) 책임연구원)
테런스 세즈노스키는 현대 뇌과학 이론을 언어 학습에 적용한 세계적 대가이다. NeurIPS 재단의 회장이 될 정도로 인공지능 전 분야의 기술의 핵심을 꿰뚫고 있다. 《딥러닝 레볼루션》에서 새로운 아이디어가 누구에 의해서 어떻게 창출되었는지, 미래의 연구를 어떻게 해야 하는지를 보여준다.

노영균(한양대학교 컴퓨터소프트웨어학부 교수)
테런스 세즈노스키는 기계학습 분야 최고 학회인 NeurIPS의 수장으로 오랫동안 있으면서 함께 성공을 견인했던 동시대의 사람들에 대한 이야기를 전하고 있으며 해당 분야의 나아갈 바를 예상해볼 수 있도록 학자로서 인공지능 분야를 바라보는 시각을 제시합니다.

문태섭(성균관대학교 전자전기공학부 교수)
일반 독자는 물론이고, 새로운 직관을 얻기 원하는 딥러닝 및 인공지능 연구에 종사하는 연구자들 도 꼭 한 번 읽어봐야 할 필독서이다.

인사이드빅데이터
연구원, 실무자, 학생 등 딥러닝에 대해 알 필요가 있는 누구든 반드시 읽어봐야 할 책이다.

네이처
AI 혁명의 최첨단을 이끄는 탁월한 과학자가 쓴 중요하고도 시의적절한 책이다.

에릭 캔델Eric Kandel,(컬럼비아대학교 신경과학과 교수 · 2000년 노벨 생리의학상 수상자)
딥러닝의 선구자 중 한 명인 테런스 세즈노스키는 그 중요한 통찰을 이론적 명제에서 경험과학으로 옮겨놓았다. 또 하나의 주요한 진일보가 아닐 수 없다.

에릭 브린욜프슨Erik Brynjolfsson,(MIT 슬론경영대학원 교수 · 《머신 플랫폼 크라우드》 공저자)
AI는 이제 세상을 깨우고 변화시키고 있다. 그러한 혁신을 주도하는 것이 바로 테런스 세즈노스키 같은 개척자들이 지난 30년 동안 쏟은 노력의 결과인 딥러닝 혁명이다. AI를 이해하고 싶으면 이 책을 읽어야 한다.

추천사 006
감수자의 글 010
서문

1부 지능의 재해석
1장 머신러닝의 부상 024
2장 인공지능의 재탄생 061
3장 뉴럴 네트워크의 여명 076
4장 두뇌 방식의 컴퓨팅 093
5장 시각 시스템에서 얻은 통찰 112
· 연대표 133

2부 기술적 영향과 과학적 영향
6장 머신러닝의 미래
7장 알고리즘의 시대
8장 헬로, 미스터 칩스
9장 내부 정보
10장 인식
11장 자연은 인간보다 영리하다
12장 심층 지능
· 연대표

3부 다양한 학습 방법
13장 칵테일파티 문제
14장 홉필드 망과 볼츠만 머신
15장 오류의 역전파
16장 컨볼루션 러닝
17장 보상학습
18장 NIPS
· 연대표

헌사
용어 설명
주

IBM의 토머스 J. 왓슨(Thomas J. Watson) 사장은 1943년에 이렇게 말한 것으로 유명하다. “아마도 전 세계적으로 컴퓨터에 대한 시장 수요는 다섯 대 정도가 될 겁니다.” 상상하기 어려운 것은 새로운 발명품이 어떤 용도에 쓰일 것이냐 하는 부분이다. 사실 이 부분에 대한 예측은 발명자 본인도 다른 사람들보다 그다지 나을 게 없다. 현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 각양각색으로 펼쳐놓고 있지만, 가장 상상력이 풍부한 공상과학 소설가조차도 그것들의 궁극적인 영향은 짐작할 수 없다고 봐야 옳다.
_ 서문

딥러닝은 수학과 컴퓨터공학, 신경과학에 뿌리를 두고 있는 머신러닝의 한 분야다. 딥러닝 네트워크는 아기들이 자신을 둘러싼 세상을 배워나가는 것과 같은 방식으로 데이터를 통해 학습한다. 생생한 눈으로 시작해 점차 새로운 환경을 탐색하는 데 필요한 기술을 습득해나가는 아기들처럼 말이다. 딥러닝의 기원은 인공지능을 창출하는 방법에 관한 두 가지 다른 시각이 경합을 벌이던 1950년대의 인공지능 태동 시점까지 거슬러 올라간다. 하나는 로직과 컴퓨터 프로그램에 기초한 시각으로 수십 년 동안 인공지능 세계를 지배했으며, 다른 하나는 데이터로부터 직접 학습하는 방식에 기초한 시각으로 성숙 단계에 이르기까지 그보다 더 오랜 시간이 걸렸다.
오늘날의 기준으로 볼 때 컴퓨터가 보잘것없고 데이터 저장에 많은 비용이 들던 20세기에는 로직이 문제를 해결하는 효율적인 방법이었다. 숙련된 프로그래머들이 각각의 문제에 대해 서로 다른 프로그램을 작성했고, 문제가 클수록 프로그램도 커졌다. 하지만 컴퓨터의 역량이 커지고 빅데이터가 풍부해진 오늘날에는 학습 알고리즘을 사용해 문제를 해결하는 것이 더 빠르고 보다 정확하며 훨씬 효율적이다. 또한 동일한 학습 알고리즘이 서로 다른 문제를 해결하는 데 이용될 수 있다. 각각의 문제에 서로 다른 프로그램을 작성하는 것보다 훨씬 덜 노동 집약적인 솔루션이 나온다는 뜻이다.
_ 1장: 머신러닝의 부상

자율주행 자동차는 곧 수백만에 달하는 트럭 및 택시 운전사들의 생계를 파괴할 전망이다. 결국 도시에서는 승용차를 소유할 필요가 없어질 것이다. 언제든 자율주행 자동차가 1분 안에 나타나 목적지에 안전하게 모셔다줄 테니까 말이다. 직접 주차할 필요도 없으니 금상첨화가 아닐 수 없다. 현재 일반적인 승용차의 주행 시간은 4퍼센트에 불과하다. 이는 곧 차의 생애 중 96퍼센트의 시간 동안에는 어딘가에 주차해둬야 한다는 의미다. 자율주행 자동차가 상용화되고 도시 밖에 주차되는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 보다 생산적인 목적으로 재활용될 것이다. 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다.
자동차와 관련된 여러 다양한 비즈니스들도 영향을 받을 것이다. 보험사와 정비소가 대표적이다. 속도위반이나 불법주차도 없어질 것이다. 음주운전이나 졸음운전으로 인한 사망 사고도 크게 줄어들 것이다. 출퇴근길에 운전하며 소비하는 시간도 다른 목적에 쓰일 것이다. 미 인구조사국에 따르면 2014년 1억 3,900만 명의 미국인이 근무일 출퇴근길에 쓰는 시간은 평균 52분이었다. 이는 연간 총 296억 시간에 해당하며 보다 나은 용도에 쓸 수 있었던 340만 년이라는, 인간 삶의 귀한 시간이다. 헤매는 일 없는 질서정연한 운행으로 고속도로의 수용 능력이 4배 정도 증가할 것이다.5 그리고 운전대 없이 목적지를 찾아갈 수 있는 자율주행 차량이 일단 개발되어 널리 이용되면 차량 절도가 종식될 것이다. 자율주행 자동차가 상용화되기까지 물론 많은 규제와 법적 제약이 따르겠지만, 일단 그런 세상이 도래하면 우리는 완전히 신세계에서 살게 될 것이다. 트럭이 아마 지금부터 10년 정도 후에 가장 먼저 운전자 없는 차량으로 도로를 누빌 것이다. 택시는 15년 정도 후에 그렇게 될 것이고, 일반 승용차는 15년 후부터 20년 후 사이에 자율주행 차량으로 전환될 것이다.
_ 1장: 머신러닝의 부상

금융 서비스는 이른바 ‘핀테크(fintech)’라는 금융 기술의 기치 아래 보다 광범위한 변혁을 겪고 있다. 금융 거래에서 금융 중개자를 대체하는 안전한 인터넷 원장인 블록체인과 같은 정보기술은 아직까지는 소규모로 테스트되고 있지만 조만간 수십 억 달러 규모의 금융 시장을 파괴할 수도 있다. 머신러닝은 현재 대출 관련 신용 평가를 개선하고 비즈니스 및 재무 정보를 정확하게 전달하고 소셜 미디어에서 신호를 수집해 시장 동향을 예측하고 금융 거래에 생체 인식 보안을 제공하는 데 사용되고 있다. 세상에는 금융 데이터가 널려 있고, 가장 많은 데이터를 보유하면 누구든 승자가 된다.
_ 1장: 머신러닝의 부상

일자리의 전환은 새로운 현상이 아니다. 19세기에도 농장 근로자들은 기계에 의해 대체되었고 기계로 인해 도시의 공장들에 새로운 일자리가 창출되었으며 이 모든 상황으로 인해 새로운 기술을 훈련시키는 교육 시스템이 등장했다. 그 당시와 현재의 차이점은, 오늘날 인공지능이 열어놓는 새로운 일자리는 전통적인 인지 기술과 더불어 새롭고 다르며 끊임없이 변화하는 기술을 요구한다는 사실이다. 그 때문에 우리는 경력 전반에 걸쳐 학습해야 할 필요가 생겼다. 그리고 그것이 가능하려면 학교가 아닌 가정을 기반으로 하는 새로운 교육 시스템이 필요하다.
_ 1장: 머신러닝의 부상
이 책에는 인간의 지능이 진화한 과정과 인공지능이 진화하고 있는 방식이라는 두 가지 주제가 얽혀 있다. 이 두 종류의 지능 사이의 가장 큰 차이점은 인간의 지능은 진화하는 데 수백만 년이 걸렸지만 인공지능은 수십 년 범위 안에서 측정 가능한 궤도를 따라 진화하고 있다는 사실이다. 비록 인공지능이 문화 진화와 관련해서조차 가공할 초고속으로 달리고 있지만, 안전벨트를 매고 몸을 도사리는 것은 올바른 반응이 아닐 수도 있다.
_ 2장: 인공지능의 재탄생

인간 지능의 기능을 가진 컴퓨터 프로그램을 작성하려고 애썼던 인공지능 개척자들은 인간의 뇌가 실제로 어떻게 지능적인 행동 방식을 성취했는지에 대해서 관심을 갖지 않았다. 내가 뉴얼에게 그 이유를 물었을 때, 그는 개인적으로 뇌 연구에서 나온 식견을 얻고 싶어 개방적인 자세를 취했지만 당시는 그저 뇌에 관한 내용이 충분히 파악되지 않았던 시절이라 쓸 만한 정보가 별로 없었다고 답했다.
_ 2장: 인공지능의 재탄생

인공지능의 모든 난제를 풀 수 있다는 유일한 실존 증거는 자연이 이미 진화를 통해 그것들을 해결했다는 사실뿐이다. 그러나 만약 인공지능 연구원들이 애초부터 상징 처리(symbol processing)와는 근본적으로 다른 접근 방식을 취했더라면 1950년대에도 컴퓨터가 실제로 지능적인 행동 방식을 취할 수 있는 실마리가 잡혔을 것이다. 첫 번째 단서는 우리의 뇌가 강력한 패턴 인식 기능을 갖췄다는 사실이었다. 인간의 시각 시스템은 여러 가지가 뒤섞인 어수선한 장면에서도 특정 객체를 영점 몇 초 사이에 인식할 수 있다. 해당 객체를 전에 본 적이 없는 경우에도 그렇고, 일정한 크기만 갖췄다면 그것이 어떤 위치에 어떤 방향으로 놓여도 그렇다. 간단히 말해서 우리의 시각 시스템은 ‘객체 인식’을 단일 명령으로 처리하는 컴퓨터처럼 움직인다.
두 번째 단서는 우리의 뇌가 연습을 통해 피아노 연주에서 물리학 학습 등에 이르는 많은 어려운 작업의 수행법을 배울 수 있다는 사실이었다. 자연은 범용 목적의 학습을 이용해 특수한 문제를 해결하며 인간은 그런 학습의 달인이다. 이는 실로 우리의 특별한 힘이다. 딥러닝 네트워크는 우리의 모든 감각 및 운동 시스템에서 발견된다. 세 번째 단서는 우리의 뇌가 로직(논리)이나 규칙으로 가득 차 있지 않다는 사실이었다. 물론 우리는 논리적으로 생각하거나 규칙을 따르는 법을 배울 수 있지만, 많은 훈련을 한 후에도 잘하지 못하는 경우가 허다하다. 이를 잘 보여주는 예가 ‘웨이슨 선택 과제(Wason selection task)’라는 논리 테스트에 나타나는 전형적인 수행력이다.
_ 3장: 뉴럴 네트워크의 여명

추론은 영역에 의존하는 것으로 보인다. 우리가 해당 영역에 익숙할수록 관련 문제의 해결이 용이해진다는 뜻이다. 영역 내의 문제 해결에서는 경험이 크게 도움이 된다. 과거에 접한 사례를 이용해 해결책을 직관적으로 떠올릴 수 있기 때문이다. 예를 들어 물리학을 공부할 때 우리는 공식을 암기하는 것이 아니라 많은 문제를 풀어봄으로써 전기나 자기 같은 영역을 학습한다. 만약 인간의 지능이 순수하게 로직에 기반한다면 영역에 종속되지 않아야 마땅하다. 하지만 그렇지 않지 않은가.
_ 3장: 뉴럴 네트워크의 여명

남성 및 여성의 얼굴 식별이 흥미로운 작업인 이유는 우리 인간이 그 일을 꽤나 잘해내지만 남성 및 여성 얼굴의 어떤 점이 어떻게 다른지를 정확하게 설명할 수는 없다는 데 있다. 어떤 단일 특징도 결정적이지 않기 때문에 이 패턴 인식 문제는 많은 수의 낮은 수준 특징으로부터 증거를 수집해 결합하는 일에 달려 있다.
_ 3장: 뉴럴 네트워크의 여명