추가 적립 안내

인공지능 시대, 주어진 운명이 아닌 만들어가야 하는 미래다!

다중우주론 분야에서 최고 권위를 지닌 물리학자이자 인공지능 시대를 대비하는 ‘생명의 미래 연구소(FLI)’의 공동설립자인 맥스 테그마크가 인공지능 논의에 대해 정리하여 엮은 『맥스 테그마크의 라이프 3.0』. 세계의 오피니언 리더들이 AI에 주목하고 있는 지금, 인공지능은 엄청난 발전을 거듭하고 있지만 얼마나 더 발전할지, 어떤 세상을 만들지 합의된 전망이 나오지 않고 있다.

일론 머스크, 구글 창립자 래리 페이지 등 AI를 개발할 결정권을 가진 가장 핵심적인 위치에 있는 인사들 사이에서도 AI가 미래에 어떤 역할을 하게 될지 일치된 의견이 나오지 않는다. 그렇다면 인간처럼 다양한 영역과 분야에서 능력을 발휘하면서도 인간 수준을 훨씬 능가하는 범용인공지능이 등장하게 될까? 저자는 이러한 질문에 솔직한 대답은 ‘모른다’고 고백한다. 그렇지만 이런 인공지능이 등장할 가능성을 무시할 수 없기에 그 가능성에 대비해야 한다고 강조한다.

핵에너지의 개발이 핵전쟁의 위협과 함께 방사능 유출의 가능성을 발생시키고, 화석에너지가 만들어낸 매연이 사람의 목숨을 앗아가고 지구적 규모의 기후변화를 유발해 각종 자연재해를 일으키게 될지 예상하지 못했던 것처럼 인간은 자신이 개발한 기술을 통제하지 못한 경우가 많다는 사실을 상기해야한다고 이야기하며, AI의 발전이 발생시킬 부작용에 대해 미리 논의해보고자 한다.

세계의 지식인이 주목한 이 시대 가장 중요한 대화 주제
인공지능 시대를 준비하는 이들을 위한 필독서

《뉴욕타임스》 베스트셀러, 《월스트리트저널》 《타임스》 《네이처》 《사이언스》 극찬!

『라이프3.0』은 인공지능에 대한 일반적인 믿음을 바로잡고 기본적인 용어와 핵심 논쟁을 명쾌하게 설명한다.
_ 유발 하라리

이 책은 우리가 생명, 지능, 의식의 위대한 미래를 추구해나가는 과정에서 마주칠 도전과 선택할 상황에 대한 설득력 있는 길잡이다.
_ 일론 머스크

(인공지능과 관련한 논의는) 우리 시대의 가장 중요한 대화 주제이고, 테그마크는 이 책에서 독자들의 호기심을 자극하며 대화에 참여하도록 이끈다.
_ 스티븐 호킹

인공지능 시대 인류의 삶은 어떻게 변할까?
세계 리더들이 의견 충돌을 일으키다

2014년 7월 18일 미국 나파밸리에서 일론 머스크가 주최한 파티가 열렸다. 여러 명사가 참여한 그 자리에는 구글 창립자인 래리 페이지와 이 책의 저자인 맥스 테그마크도 있었는데, 그들은 한가롭게 아이들 배변 문제에 대해 의견을 나누던 참이었다. 그런데 어느 순간 인공지능(AI)이 의식을 가질 수 있을까라는 주제로 대화가 옮겨가더니, 일론 머스크가 그 대화에 참여하면서 의견 충돌이 일어났다. 래리 페이지는 디지털 생활은 우주 진화에서 자연스러운 단계이기 때문에 어떤 이유에서건 인공지능의 발전을 막아서는 안 되며, 인공지능을 노예처럼 대하지만 않으면 좋은 결과에 이를 수 있다고 확신했다. 이때 일론 머스크는 래리 페이지에게, 왜 디지털 생활이 우리가 좋아하는 것들을 파괴하지 않을지 확신하느냐고 재차 물었다. 그러자 래리 페이지는 일론 머스크를 종차별주의자(speciesist)로 몰아붙였다. 탄소가 아니라 실리콘을 기반으로 한다는 이유로 어떤 생명체를 열등하게 본다는 주장이었다.
알파고의 직격탄을 맞은 한국뿐 아니라, 세계의 오피니언 리더들이 AI에 주목하고 있다. 그중에서도 래리 페이지나 일론 머스크는 AI를 개발할 결정권을 가진 가장 핵심적인 위치에 있는 인사이다. 그런데 이들 사이에서도 AI가 미래에 어떤 역할을 하게 될지 일치된 의견이 나오지 않는다. 맥스 테그마크는 래리 페이지를 디지털 이상주의자로 분류한다. 디지털 이상주의자는 인공지능이 발달해 인간 수준에 이르는 것은 시간문제이며, 그것은 인류 번영을 보장한다는 입장이다. 『마음의 아이들』을 쓴 한스 모라벡이나 『특이점이 온다』의 레이 커즈와일이 여기에 속한다. 이들이 걱정하는 시나리오는, AI 피해망상 때문에 인공지능 발전이 저해되거나 거대한 정치권력이 고도로 발달한 AI를 자신들의 이익을 위해서만 사용하는 상황이다. 이와 정반대의 입장을 가진 사람들도 있다. 기술 회의론자들은 그렇게 고도로 발달한 AI는 등장하지 않을 것이라고 주장한다. 바이두의 수석 과학자인 앤드루 응이나 MIT 교수로 여러 산업용 로봇을 개발한 로드니 브룩스가 여기에 속한다. 이러한 입장을 가진 사람들은 인간 수준의 능력을 지닌 인공지능은 사실상 불가능하거나 수백 년이 지난 뒤에야 등장할 것이라고 주장한다.
인공지능이 엄청나게 발전하고 있지만 얼마나 더 발전할지, 어떤 세상을 만들지 합의된 전망이 나오지 않은 것이다.

인간을 뛰어넘는 인공지능은 등장할까?
왜 라이프 3.0인가?

맥스 테그마크는 생명을 세 단계로 구분한다. 라이프 1.0은 하드웨어와 소프트웨어 모두 진화의 방식을 통해서만 발전하는 생명 형태이다. 박테리아는 어떤 상황에 대응하는 아주 기초적인 반응을 할 수는 있지만 무언가를 학습하지는 못 한다. 그래서 새로운 상황에 처했을 때 효과적으로 대처할 수 없다. 라이프 1.0 단계의 생명들은 진화를 통해서만 새로운 상황에 적응할 수 있다. 쥐는 학습 능력이 있지만 그리 정교하지 않으며 그것을 세대에 걸쳐 전달하지도 못한다. 이러한 동물은 라이프 1.1 정도의 단계에 있다고 볼 수 있겠다.
라이프 2.0은 하드웨어는 진화하지만 소프트웨어는 설계할 수 있는 생명 형태이다. 인간은 성장하고 학습하면서 소프트웨어를 설계할 수 있다. 이를테면 우리는 어릴 때 받은 교육에 따라 한국어를 말할 수도 있고 영어를 말할 수도 있으며 둘 다 할 수도 있다. 아니면 의사가 되는 교육을 받을 수도 있고 요리사가 되는 교육을 받을 수도 있다. 게다가 이렇게 설계한 소프트웨어를 다음 세대에 전달할 수도 있다. 라이프 2.0 시대에 이르러 지구상에는 진정한 문화가 등장했고 지식과 기술이 폭발적으로 발전했다.
라이프 3.0은 여기서 한 단계 더 나아가, 소프트웨어는 물론 하드웨어도 설계할 수 있는 생명 형태다. 라이프 3.0 생명은 소프트웨어를 설계한 능력을 바탕으로 자신의 하드웨어를 업그레이드할 수 있다. 업그레이드된 하드웨어는 다시 더 나은 소프트웨어를 설계할 수 있는 기반이 되고, 이는 다시 하드웨어의 발전을 가능하게 한다. 요새는 인간도 하드웨어의 일부를 설계할 수 있다. 예를 들어 치아를 임플란트로 바꾸거나 심장박동기를 설치하는 식으로 하드웨어의 일부를 설계해 대체할 수 있다. 이를테면 현 세대 인간은 라이프 2.1 정도의 존재라고 할 수 있다. 하지만 10배로 키를 늘리거나 1,000배로 뇌 용량을 늘리는 것은 불가능하다. 라이프 3.0은 이런 것까지 가능한, 일종의 궁극적인 생명 형태다. 맥스 테그마크가 라이프 3.0을 언급하는 것은 미래에 개발될 인공지능이 라이프 3.0이 될 수 있기 때문이다.
여기서 몇 가지 개념을 정리해야 한다. 일단 라이프 3.0이 될 수 있는 인공지능은 인간 수준의 범용인공지능(AGI, artificial general intelligence)이다. 현재 개발된 알파고나 왓슨 같은 인공지능은 바둑이나 퀴즈 풀기 같은 특정 분야에서는 뛰어난 능력을 보여줬지만 자신의 분야를 넘어가면 할 수 있는 일이 없다. 범용인공지능은 인간처럼 다양한 영역과 분야에서 능력을 발휘할 수 있는 인공지능을 뜻한다. 그리고 초지능(super intelligence)이어야 한다. 초지능은 인간 수준을 훨씬 능가하는 범용지능이다. 알파고는 이세돌에 이어 커제에게도 승리를 거둠으로써 인간 중에는 적수가 없음을 확인했는데 이런 정도의 능력을 지닌 범용인공지능이 나타난다면 초지능이라고 할 만한다. 이 같은 초지능이 탄생한다면 그것은 스스로를 끊임없이 발전시킬 수 있을 것이다. 궁극적으로는 물리학의 한계가 허용하는 수준까지 자신을 업그레이드할 수 있을 것이다.
하지만 이쯤에서 궁금증이 생긴다. 정말 그런 인공지능이 등장할까? 이 질문에 대해서는 일치된 의견이 나오지 않았다. 디지털 이상주의자 중에는 20~100년 사이에 그런 인공지능이 등장할 것이라고 보는 사람도 많다. 정반대로 원리상 그런 인공지능이 불가능하다고 보는 기술 회의론자도 적지 않다. 그러니까 저 질문에 대한 솔직한 대답은 ‘모른다’라고 테그마크는 고백한다. 하지만 테그마크는 그런 인공지능이 등장할 가능성을 무시할 수 없다면, 그 가능성에 대비해야 한다고 역설한다. 가장 위대한 핵물리학자 가운데 한 사람이었던 어니스트 러더포드는 레오 실라르드가 핵연쇄반응을 발명하기 전까지 핵에너지는 헛소리라고 말했다. 이후에 일어난 일은 우리가 잘 알고 있다. 핵에너지는 인류 역사상 가장 파괴적인 무기이자 기술이 되었다.

인공지능이 인종 청소에 사용된다면? 로봇 의사처럼 로봇 판사가 등장한다면?
인공지능은 어떤 분야에 적용될 수 있을까?

맥스 테그마크같이 미래의, 아직 실현되지도 않은 기술을 걱정하는 사람들을 한심하게 보는 사람도 많다. 하지만 인간은 자신이 개발한 기술을 통제하지 못한 경우가 많다는 사실을 상기해야 한다. 핵에너지의 개발은 핵전쟁의 위협과 함께 방사능 유출의 가능성을 발생시켰다. 우리는 핵에너지가 일으킨 사고가 돌이킬 수 없는 피해를 준 지역을 여럿 알고 있다. 화석에너지의 활용도 마찬가지다. 처음에 사람들이 석탄이나 석유를 쓸 때만 해도, 그것이 만들어낸 매연이 사람의 목숨을 앗아갈지 알았을까? 아니면 지구적 규모의 기후변화를 유발해 각종 자연재해를 일으킬지 알았을까? 지금 인류가 기후변화의 속도를 늦추기 위해 투자하는 비용의 규모는 가히 천문학적이다. 만약 AI의 발전이 인류의 삶에 커다란 영향을 준다면, 그것이 발생시킬 부작용의 규모도 위 사례에 비해 못하지 않다고 보아야 할 것이다. 그래서 테그마크는 우리가 이러한 논의를 하는 것을 일종의 ‘화재보험’에 비유한다.
테그마크는 인공지능이 거의 모든 분야에 적용되면서 인간의 삶이 크게 바뀔 것이라고 주장한다. 정치, 경제, 군사, 법률 등 모든 분야에서 인공지능은 인간을 대체할 것이다. 미국 국방부에서는 AI 자율 무기 개발을 공언한 상태다. 그런데 그러한 AI 시스템이 잔악한 무리, 예를 들어 IS의 손에 들어간다면 테러나 인종 청소에 사용될 수 있지 않을까? 영화 〈닥터 스트레인지러브〉에서처럼 자동으로 반응하는 인공지능에 모든 판단을 맡겨두면 인공지능은 반사적으로 인류를 파멸로 이끌 전쟁을 일으킬 수도 있다(사실 이 경우는 인공지능이 오작동을 일으키는 것이 아니라 인간이 가정하지 못한 상황 때문에 발생할 가능성이 높다. 이 책에서는 실제 역사에서 그런 사례가 있었음을 지적한다). 로보판사는 인간과 달리 편견이나 사적인 이해관계에 구애받지 않고 판결을 내릴 것이다. 하지만 로보판사가 인간 판사들처럼 피고에게 자신이 판결한 이유를 설명할 수 있을까? 알파고를 만든 인공신경망 기술은 여러 데이터를 종합해서 최적의 판단을 내리지만 ‘왜’ 그런 판단을 내렸는지는 알파고나 알파고를 만든 사람도 설명하기 어렵다. 로보판사의 판결도 이렇지 않을까?
우리 사회에서 초미의 관심사인, 노동과 일자리 관련 주제 또한 살펴봐야 한다. 인공지능 비서 서비스나 자동 번역 기술을 접하면서 우리는 인공지능이 인간의 노동력을 대체할 것임을 확신하게 됐다. 테그마크는 아이들을 위한 직업 조언을 소개하며 인공지능에게 대체되지 않을 수 있는 일이 무엇인지 살펴본다.
혹자는 말한다. 조선 시대의 할머니들이 우리가 웹디자이너나 쇼핑몰 MD가 될지 상상이나 했겠는가? 산업화시대에서 정보화시대로 넘어오면서 상상하지 못한 새로운 일자리가 많이 생긴 것처럼 인공지능이 대체하는 일자리만큼 다른 일자리가 생길 것이다. 하지만 역사를 볼 때 그런 주장이 실현될지는 의심스럽다. 2015년 미국의 1억 4,900만 개의 일자리를 분석한 결과, 컴퓨터 관련 직업은 스물한 번째로 많은 소프트웨어 개발자에 가서야 나온다. 많은 사람이 종사하는 관리자, 운전사, 계산원 같은 직업은 이미 100년 전에도 있었다. 소프트웨어 개발자가 차지하는 일자리 비중은 미국 전체로 따졌을 때 1퍼센트도 되지 않는다. 정보화혁명이 일어났다지만 정작 거기에 종사하는 사람들의 수가 폭발적으로 증가한 것은 아니라는 말이다.
테그마크는 1900년대 초기 두 마리 말이 나눈 가상 대화를 인용하며 인공지능이 도래할 상황을 비유한다. 그 대화에서 부정적인 말은 내연기관이 확산되면 일자리를 잃게 되는 것이 아니냐고 걱정한다. 그때 긍정적인 말은 러다이트가 되지 말라고, 말들은 농업시대에 쟁기를 끌었고 산업시대에는 광산 펌프를 가동했는데 이제는 마차를 끌 뿐이라며, 앞으로 자동차가 보급되어도 미처 상상하지 못한 일자리가 생길 테니 그런 일을 하며 살면 된다고 말한다. 하지만 모두 알다시피 말을 위한 미처 상상하지 못한 일자리는 생기지 않았다. 1900년대 미국에서 2,600만 두였던 말의 개체 수는 1960년대 300만 두로 줄었다. 인간이 이런 신세가 되지 않으리라고 확신할 수 있을까?

세계의 지식인이 한자리에 모여 미래를 준비한다
인공지능의 열어갈 미래를 대비하는 사람들의 이야기

얼마 전 스티븐 호킹 교수는 인공지능이 미래에 인류에게 위협이 될 수도 있다는 이야기를 해 국내 인터넷에서 화제가 되었다. 이 발언은 기사화되면서 자극적으로 인용되었는데(비슷한 에피소드가 이 책 65쪽에도 나온다), 사실 스티븐 호킹의 의도는 지금부터 인공지능 시대를 대비하자는 것이다. 너무 늦게 대비하면, 핵폭탄이 터진 후에야 핵에너지의 위험성을 감지하고 책임감을 느낀 과학자들처럼 소 잃고 외양간 고치는 격이 될 수 있다. 그리고 현실에서는 이미 인공지능 시대를 준비하는 움직임이 활발하게 벌어지고 있다.
이 책의 저자인 맥스 테그마크는 다중우주론 분야에서 최고 권위를 지닌 물리학자다. 한편으로는 인공지능 시대를 대비하는 ‘생명의 미래 연구소(FLI, Future of Life Institute)’의 공동설립자이기도 하다. 테그마크는 저명한 인공지능 연구자 스튜어트 러셀과 함께 인공지능 연구자들의 서명을 받아 ‘자율 무기 개발에 반대하는 공개서한’을 발표하는가 하면, 캘리포니아 아실로마에서 회의를 열어 앞으로 이루어질 AI 연구의 윤리 기준을 제시한 ‘아실로마 AI 원칙’을 발표했다(전문은 한국어로 번역되어 다음 홈페이지에서 확인할 수 있다. https://futureoflife.org/ai-principles-korean/). 아실로마 회의에는 세계에서 수많은 연구자가 참석했고, FLI팀에도 수많이 사람이 참여했는데 그 가운데는 우리에게 친숙한 이름도 많다. 일론 머스크, 스티븐 호킹, 래리 페이지, 한스 모라벡, 레이 커즈와일, 스튜어트 러셀, 딥마인드 대표 데미스 하사비스, 스카이프 창시자 얀 탈린, 노벨 물리학상 수상자 프랭크 윌첵, 옥스퍼드대학 철학과 교수 닉 보스트롬, 의식 연구의 선도자인 크리스토프 코흐 등이다. 특히 일론 머스크는 FLI팀의 자문이자 주요 기부자로서 FLI팀이 설립되는 데 큰 역할을 했다. 설립 초기 1,000만 달러를 기부하면서 FLI팀이 다양한 연구 활동을 지원하도록 도움을 줬다. 이후에도 FLI팀에서는 수천만 달러의 기금을 조성해 ‘이로운 AI 연구’를 위해 노력하고 있는데, 이 책에서는 그러한 과정도 매우 흥미롭게 묘사하고 있다.
이 책의 추천사를 쓴 사람은 대부분 FLI팀에 속해 있다. 그들의 추천사를 읽어보면 단지 ‘이 책이 재미있다, 유익하다’라는 내용이 아님을 알 수 있을 것이다. 그들은 맥스 테그마크처럼 AI의 이로운 활용을 추구하는 입장에서 독자들도 그러한 대화에 참여할 것을 촉구한다. 이 책은 인공지능 시대에 펼쳐질 가능성을 탐구하는 한편, 독자들이 그러한 대화에 참여해 자신의 의견을 발언할 것을 권한다. 인공지능 시대 인공지능에 영향을 받는 건 연구자들만이 아니기 때문이다. 평범한 사람들, 우리 모두가 인공지능의 영향을 받을 수 있기에 그것이 만들어갈 미래를 함께 고민해야 한다. 인공지능 시대는 주어진 운명이 아니라 만들어가야 하는 미래다. 이 책을 읽고 고민하며 인공지능 시대를 준비하자.

[책속으로 추가]
21세기에 인공지능(AI)이 열어놓을 가능성은 폭이 매우 넓다. 그 가운데 어느 것이 실현되도록 결정하는 것은 다가오는 10년 동안 인류가 내려야 할 가장 중요한 선택일 것이다. 이 선택은 그래서 실리콘밸리에 맡겨둘 수 없다.
그런데 대다수 사람은 기계학습, 신경망, 인공지능(AI)을 아주 희미하고 제한적으로만 이해한다. 그들은 〈터미네이터〉와 〈매트릭스〉 같은 SF 영화를 보고 AI에 대한 생각을 형성하게 됐다.
맥스 테그마크의 라이프 3.0』은 인공지능에 대한 일반적인 믿음을 바로잡고 기본적인 용어와 핵심 논쟁을 명쾌하게 설명한다. SF 작품을 본 많은 사람이 악당 로봇을 두려워하게 됐지만 저자 맥스 테그마크는 매우 능력이 있는 AI가 개발될 경우 닥칠 예상치 못한 결과가 정말 문제라고 강조한다. AI가 꼭 악하고 로봇에 장착되어야만 엄청난 파괴력을 휘두르는 것은 아니다. 테그마크는 “범용인공지능의 진정한 위험은 악의가 아니라 능력”이라며 “초지능 AI는 자신의 목표를 아주 능숙하게 성취할 수 있을 텐데, 그의 목표가 우리 목표와 정렬되지 않았다면 우리는 곤경에 빠질 것이다”라고 말한다. _유발 하라리(『사피엔스』 『호모 데우스』 저자)

이 책은 우리가 생명, 지능, 의식의 위대한 미래를 추구해나가는 과정에서 마주칠 도전과 선택할 상황에 대한 설득력 있는 길잡이다. _일론 머스크(테슬라 CEO)

과학자, 사업가, 군사 전문가뿐 아니라 우리 모두는 미래 AI가 전해줄 이로움을 취할 기회를 늘리고 위험은 피하기 위해 지금 무엇을 해야 할지 자문해야 한다. 이는 우리 시대의 가장 중요한 대화 주제이고, 테그마크는 이 책에서 독자들의 호기심을 자극하며 대화에 참여하도록 이끈다. _스티븐 호킹(케임브리지대학 교수)

테그마크는 내가 본 것 가운데 가장 통찰력이 있으면서도 쉽고 흥미롭게 인공지능의 영향에 대해 써냈다. 만일 당신이 아직 테그마크의 쾌활한 정신을 접하지 않았다면, 이 책은 큰 만족을 줄 것이다. _에릭 브릭욜프슨(MIT 경영대학원 교수, MIT 디지털경제연구소장)

테그마크는 우리가 하나의 종(種)으로서 어떤 미래를 창조하고자 하는지에 대해 기존 논의보다 훨씬 폭넓은 대화가 오가도록 유도한다. 그는 이 책에서 AI, 우주론, 가치, 의식하는 경험의 본질 등 녹록지 않은 주제를 버겁게 않게 제시해, 독자가 자신의 견해를 형성하도록 한다. _닉 보스트롬(옥스포드대학 인류의 미래 연구소 설립자, 『슈퍼인텔리전스』 저자)

이 책은 AI, 지능, 인류의 미래에 대한 기존 사고방식을 바꾸게 하는 내용으로 우리를 자극한다. _바트 셀먼(물리학자, 코넬 대학 컴퓨터과학 교수)

테그마크의 새 책은 우리 시대의 가장 중요한 대화로 이끄는 매우 사려 깊은 길잡이다. 그 대화는 우리의 생물적인 사고를 우리가 창조한 훨씬 더 높은 지능과 융합하는 가운데 관대한 미래 문명을 어떻게 만들어갈 것인가라는 주제를 다룬다. _레이 커즈와일(발명가 겸 미래학자, 『특이점이 온다』 저자)

감사의 말 9

프렐류드: 오메가팀 이야기 15

1. 우리 시대 가장 중요한 대화에 참여하는 것을 환영하며 40
2. 물질이 지능을 갖게 되다 75
3. 가까운 미래: 약진, 오류, 법, 무기, 일자리 117
4. 지능 폭발 187
5. 그 후: 다음 1만 년 223
6. 우리의 우주적인 재능: 다음 수십억 년과 그 너머 277
7. 목적 333
8. 의식 376

에필로그: FLI 팀 이야기 422

주 447
찾아보기 459

우리는 내 아내 마이어, 래리의 부인 루시와 함께 부부동반으로 저녁식사를 하면서 기계가 필연적으로 의식을 갖게 될 것인지 토론했는데, 래리는 그건 관심을 핵심이 아닌 다른 곳으로 돌리는 주제라고 주장했다. 그날 늦은 밤에 칵테일을 마신 뒤 길고 활발한 토론이 래리와 일론 사이에 오갔다. 둘은 AI의 미래와 무엇을 해야 하는지를 놓고 얘기를 나눴다. 토론이 새벽까지 이어지면서 참관자와 훈수꾼이 계속 늘어났다. 래리는 내가 디지털 이상주의라고 여기는 입장을 열정적으로 방어했다. 디지털 생활은 우주 진화에서 자연스럽고 바람직한 다음 단계이고 우리가 디지털 마인드를 멈춰 세우거나 노예로 만들려고 하지 않고 자유롭게 풀어놓는다면 그 결과가 좋을 것이 거의 확실하다고 말했다. 나는 래리가 디지털 이상주의자 가운데 영향력이 가장 큰 인물이라고 본다. 그는 생명이 은하계와 그 너머로 영역을 넓힐 경우(그는 그렇게 해야 한다고 생각한다), 디지털 형태가 필요할 것이라고 말했다. 그가 주로 걱정하는 것은 AI 피해망상이 디지털 이상주의의 도래를 늦추거나(또는 늦추고) AI를 군사적으로 탈취하는 파국을 일으킬 가능성이었다. 이 가능성은 구글의 ‘사악해지지 말자’라는 슬로건에 저촉되는 종류이다. 일론은 계속 맞받아치며 래리에게 그 주장의 세부 내용을 뚜렷하게 제시해보라고 요구했다. 예컨대 왜 디지털 라이프가 우리가 좋아하는 모든 것을 파괴하지 않으리라고 그렇게 확신하는지 물었다. 래리는 계속 일론을 종차별주의자speciesist라고 몰아붙였다. 탄소가 아니라 실리콘을 기반으로 한다는 이유로 어떤 생명 형태를 열등하게 취급한다는 것이었다.
/ 1장 우리 시대 가장 중요한 대화에 참여하는 것을 환영하며(52-53쪽)

《데일리메일》에서 이 제목을 봤을 때 나는 놀라서 눈이 휘둥그레졌다. “스티븐 호킹, ‘로봇의 부상浮上은 인류에게 재앙’ 경고.” 비슷한 기사를 몇 번이나 봤는지 헤아리다 잊어버렸다. 그런 기사에서는 늘 그러하듯 무기를 든 사악해 보이는 로봇이 등장하고, 로봇이 의식을 갖고(갖거나) 사악해져 봉기해 우리를 죽일지 모르니 걱정해야 한다고 제안한다. 여담인데 그런 기사는 다른 측면에서 인상적이다. 왜냐하면 내 AI 분야 동료들이 걱정하지 않는 시나리오를 간결하게 요약한 것이기 때문이다. 그 시나리오에는 의식, 악, 로봇 등에 대한 세 가지 개별 오해가 결합돼 있기 때문이다.…
기계가 사악해진다는 공포는 관심을 딴 데로 돌리는 또 다른 요소이다. 정말 걱정할 거리는 악의가 아니라 능력이다. 초인간 AI는 개념 정의상 그게 무엇이든 목표를 달성하는 일에 매우 뛰어나고, 그래서 우리는 그것의 목표와 우리 목표를 정렬해두어야 한다. 당신이 개미를 싫어해 일부러 개미를 짓밟지 않더라도 당신이 수력 녹색에너지 프로젝트 책임자이고 물을 채워야 할 지역에 개미언덕이 있다면, 개미떼에게 나쁜 일이 된다. 이로운 AI 운동은 인간이 그런 개미의 처지에 놓이게 되는 상황을 피하려고 한다.
/ 1장 우리 시대 가장 중요한 대화에 참여하는 것을 환영하며(65~66쪽)

비관론자들은 끝이 분명하다고 주장한다. 즉, 모든 군도가 결국 물에 잠기고 사람이 기계보다 저렴하게 할 수 있는 일은 전혀 남지 않으리라고 말이다. 스코틀랜드 출신 미국 경제학자 그레고리 클라크는 2007년 책 『맬서스, 산업혁명, 그리고 이해할 수 없는 신세계』에서 우리는 미래의 직업 전망에 대해 1900년 초기 자동차 시대 두 마리 말이 나눈 가상 대화에서 생각할 거리를 얻을 수 있다고 주장했다.

“나는 기술적 실업이 걱정이야.”
“걱정 마. 러다이트가 되지 말라고. 증기기관이 나와 우리의 산업현장 일자리를 차지하고 기차가 마차를 끄는 우리 일자리를 대체했을 때도 우리 선조들이 그렇게 말했지. 그러나 지금 우리한테는 더 많은 일자리가 있지 않나. 더구나 지금 일자리는 전보다 더 낫고. 나는 가벼운 마차를 끄는 편이 훨씬 좋아. 전에는 멍청한 광산 펌프를 가동하느라 하루 종일 원을 그리며 돌아야 했잖아.”
“그렇지만 내연기관이 정말 확산되면 어떻게 하지?”
“우리 말들이 여태 상상하지 못한 더 새로운 일자리가 만들어지리라고 확신해. 전에도 늘 그랬잖아. 바퀴와 쟁기가 나왔을 때도 그랬고.”

아뿔싸, 말들을 위한 ‘미처 상상되지 않은’ 새로운 일자리는 생기지 않았다. 필요가 없어진 말들은 도살되어 대체되지 않았고, 미국의 말 수는 1915년 약 2,600만 두에서 1960년 300만 두 정도로 급감했다. 기계의 근육이 말을 필요하지 않게 한 것처럼 기계의 정신이 인간에게도 같은 영향을 미칠 것인가?
/ 3장 가까운 미래: 약진, 오류, 법, 무기 일자리(175~176쪽)

셋째 단계는 나흘 뒤 시작됐다. 일론은 1,000만 달러를 AI 안전 연구에 기부한다는 우리 발표의 링크를 트윗했다. 일주일 뒤 우리는 온라인 포털을 열어 전 세계의 연구자들이 이곳에서 자금을 신청하도록 했다. 우리는 신청 시스템을 후다닥 만들 수 있었다. 앤서니와 내가 앞서 10년 동안 물리학 연구 지원금을 신청하면서 쌓은 노하우를 발휘한 것이다. 파급효과가 큰 기부를 하는 캘리포니아 소재 자선재단 ‘오픈 필랜스로피 프로젝트’는 일론의 출연에 더해 FLI에 기부하기로 했다. 우리는 신청자가 얼마나 많을지 가늠하지 못했다. 새로운 주제인데 마감 시한은 임박했기 때문이다. 결과는 놀라웠다. 세계 전역에서약 300팀이 모두 1억 달러를 신청했다. AI 교수들과 다른 연구자들로 이뤄진 패널은 제안서를 주의 깊게 검토해 약 3년간 지원할 37개 팀을 선정했다. 우리가 선정한 팀의 명단을 발표하자 언론매체는 처음으로 우리 활동을 실체에 부합하는 방식으로, 그리고 킬러 로봇 그림 없이 대중에게 전했다. AI 안전에 대한 논의가 공허하지 않다는 사실이 마침내 이해되고 있었다. 실행해야 하는 유익한 일이 실제로 있었고 쟁쟁한 연구팀이 속속 소매를 걷어붙이고 이 일에 나서고 있었다.
/ 에필로그(434쪽)