2014년 출간 이후 「뉴욕 타임스」, 아마존 베스트셀러 영미권에서 13만 부 판매 / 19개 언어로 번역계약 체결 인공지능의 문제점을 제기하여 세계적인 논의의 출발점이 된 책 주요 내용 2016년 알파고와 한국 프로 바둑기사 이세돌의 대국은 전 세계적인 관심을 받았으며, 그 결과는 놀라움과 우려를 동시에 불러왔다. 인공지능의 현 상황을 여실히 보여준 이 대결로 인해서 인공지능이 현실에서 사용될 날이 멀지 않았음을 모두가 실감하게 된 것이다. 인간은 현재의 지능으로 지구에서 지배적인 위치를 차지하게 되었다. 그렇다면 인간의 지능을 훨씬 더 능가하는 초지능이 개발된다면, 과연 인류는 어떤 시간을 맞이하게 될 것인가? 이 책에서는, 인류가 직면한 문제들 가운데 가장 중요하고도 심각한 문제라고 생각되는, 바로 이 문제에 어떻게 대처할 것인지를 다룰 것이다. 인간보다 똑똑한 초지능이 개발되기 전에 인류에게는 단 한 번의 기회가 있을 것이다. 그 기회를 어떻게 이용할지는 이제부터 전 인류의 노력에 달려 있다고 할 수 있다. 이 책의 제1장에서는 인공지능 분야의 역사와 현재의 발전 양상을 서술하고, 제2장에서는 초지능으로 향하는 여러 가능한 기술적 경로들을 알아보고 그것의 가능 시기를 조심스럽게 예측한다. 제3장에서는 초지능의 형태들(속도적 초지능, 질적 초지능, 집단적 초지능)을 조사하고, 기계 기반 지능의 잠재력에 대해서 살펴본다. 제4장에서는 인간 수준의 지능을 획득한 인공지능이 그후 언제쯤 지능 대확산(intelligence explosion)을 이루어 초지능에 다다를 것인지를 살펴본다. 제5장은 초지능의 개발 단계에서 하나의 초지능이 개발될 것인지, 아니면 여러 초지능들이 동시에 개발될 것인지를 다룬다. 제6장에서는 초지능이 가질 수도 있는 여러 가지 능력들을 살펴보고, 그 능력들로 초지능이 무엇을 할 수 있을지도 생각해본다. 제7장은 초지능이 엄청난 능력으로 어떤 최종 목표를 구현할 것이며, 그 목표에는 어떤 동기가 작용될 수 있는지를 살펴본다. 제8장에서는 우리가 가지고 있는 초지능에 대한 전망을 새로운 관점에서 바라보고, 초지능이 인간과는 완전히 다른 새로운 지성체임을 강조한다. 제9장은 초지능적 에이전트의 통제 문제로 논의의 시각을 옮겨서, 능력 통제와 동기 선택의 두 가지 방향에서 초지능을 통제할 수 있는 방법들을 제안한다. 통제 문제에 사용할 수 있는 프로그램인 오라클, 지니, 소버린 툴에 대해서는 제10장에서 다룬다. 제11장에서는 다수의 상충하는 초지능적 에이전트들이 포진한 전이-후(post-transition) 사회, 즉 다극성 결말에서 어떤 일이 벌어지는지를 다룬다. 제12장에서는 초지능을 근본적으로 통제할 수 있는 동기 선택방법에 대해서 심도 깊게 고찰한다. 제13장은 초지능에게 과연 어떤 가치를 가지도록 선택할 것인지에 대한 이야기이다. 제14장과 15장에서는 앞에서 밝혀낸 내용들을 거시적 관점에서 바라보고, 그것들로부터 얻을 수 있는 큰 그림을 고찰할 것이다. 그리고 마지막으로 미래에 초지능으로 인해서 야기될 수 있는 우리의 존재 자체에 대한 위험을 피하고자, 지금 인류가 할 수 있는 일들을 몇 가지 제안한다. 인공지능에서 초지능으로 나아가는 과정에서 인류가 반드시 해결해야 하는 근본적인 질문들을 제기한 이 책은 인류가 이제껏 경험해보지 못한 도전을 맞아 우리가 무엇을 할 수 있을지를 전망한다. 우리가 살아가는 이번 세기 안에 개발될 것으로 예상되는 초지능은 인류의 미래를 결정할 것이다. 공상과학 소설이나 영화를 통해서 막연하게 그려본 인공지능 시대의 미래는 이 책을 통해서 현실에 바탕을 둔 생생한 현재 진행형으로 새롭게 각인될 것이다. 지능 대확산이 일어날 전망이 보이기 이전에는, 인간은 마치 폭탄을 가지고 노는 작은 어린 아이들과 같은 존재이다. 이것은 장난감이 가진 힘과 인간 행위의 미성숙성 사이의 부조화를 잘 보여준다. 초지능은 현재 준비되지 않았고 또한 한동안 준비될 수 없는 힘겨운 목표이다. 언제 폭발이 일어날지에 대해서는 거의 예측이 불가능하지만, 만약 그 장치를 우리 귀에 가까이 가져다대면 비록 희미하게나마 똑딱거리는 소리를 들을 수 있을 것이다. 폭발하지 않은 폭탄을 손에 들고 있는 아이가 해야 할 현명한 행동은 조심스럽게 폭탄을 내려놓고 조용히 방 밖으로 나와서 가장 가까이에 있는 어른에게 알리는 것이다. 그러나 이제 우리가 다루려는 문제에서는 아이가 한 명이 아니라 다수이고, 아이들 각자가 독립된 격발장치를 가지고 있다. 위험물을 모두 내려놓게 하는 지각 있는 방법을 찾을 기회는 거의 없다. 몇몇 바보같은 녀석들은 무슨 일이 벌어질지 보려고 점화 버튼을 누를 것이다. 그 누구도 하늘 전체를 뒤덮으면서 전 방위적으로 내리꽂히는 지능 대확산의 폭풍으로부터 안전하게 도망칠 수는 없을 것이다. 그 경우에는 사건을 알려서 도움을 청해야 할 눈에 띄는 어른도 그곳에는 없을 것이다. -“본문”에서

아직 끝이 나지 않은 이야기 : 참새와 부엉이의 우화 서문 감사의 글 1 과거의 발전과 현재의 역량 역사의 발전 형태와 거대사 / 크나큰 기대 / 기대와 절망의 시간들 / 인공지능의 첨단 기술 / 기계지능의 미래에 대한 몇 가지 의견 2 초지능으로 향하는 몇 가지 경로 인공지능 / 전뇌 에뮬레이션 / 생물학적 인지능력 / 뇌-컴퓨터 인터페이스 / 네트워크와 조직 /요약 3 초지능의 형태 속도적 초지능 / 집단적 초지능 질적 초지능 / 직접적인 영향력과 간접적인 영향력 / 디지털 지능의 장점들의 근원 4 지능 대확산의 동역학 도약의 시기와 속도 / 저항성 / 최적화 능력과 대확산성 / 5 확실한 전략적 우위 선두주자에게 확실한 전략적 우위가 있을 것인가? / 성공적인 연구 개발 과제는 얼마나 클 것인가? / 확실한 전략적 우위에서부터 독점적 지배체제까지 6 인지적 초능력 기능성과 초능력들 / 인공지능에 의한 통제력 장악 시나리오 / 자연적 저항과 다른 에이전트의 저항을 극복하는 힘 7 초지능적 의지 지능과 동기 사이의 관계 / 도구적 수렴성 8 예정된 결말은 파멸인가? 지능 대확산의 예정된 결말은 존재적 재앙인가? / 위험한 전환 / 악성 실패 상황들 9 통제 문제 두 에이전트 문제 / 능력 통제방법 / 동기 선택방법 / 개요 10 오라클, 지니, 소버린, 툴 오라클 / 지니와 소버린 / 툴-인공지능 / 비교 11 다극성 시나리오 말과 인간 / 알고리즘 경제에서의 삶 / 전이-후 독점적 지배체제의 출현? 12 가치 획득 가치-탑재 문제 / 진화적 선택 / 강화 학습 / 결합된 가치 부여 / 동기 부여적 임시 가설 / 가치 학습 / 에뮬레이션 조정 / 제도 설계 / 개요 13 선택의 기준 선택하기 간접적 규범성의 필요 / 일관 추정 의지 / 도덕률 모델 / 내 취지대로 행동하라 / 요소 리스트 / 충분히 가까워지고 있다 14 전략적 그림 과학과 기술의 전략 / 경로와 조력자 / 공동 작업 15 결정의 시간 기한이 있는 철학 / 무엇이 이루어져야 하는가? / 최선의 인간 본성이 나타나서 문제를 해결하기를 주 참고 문헌 역자 후기 찾아보기