“4차 산업혁명의 시대, 불확실한 미래를 보는 힘!” 2,800명의 자원자, ‘좋은 판단 프로젝트’에서 탄생한 슈퍼 예측가들의 비밀 2005년, 와튼 스쿨의 필립 E. 테틀록 교수는 대단히 충격적인 연구 결과를 세상에 발표했다. 경제 위기나 국내외 정치 위기 상황이 닥칠 때마다 내로라하는 전문가들이 자신 있게 내놓은 예측의 적중률이, 사실은 다트를 던지는 원숭이와 별반 다를 게 없다는 것이다. 그렇다면 미래를 앞서 보는 예측이란 게 애당초 불가능하다는 이야기일까? 사실 이 연구의 중요한 결론은 그럼에도 불구하고 정말로 예지력이 남다른 이들이 있다는 것이었다. 저자는 정보기관으로부터 기금을 지원받아 미국 전역에서 2,800명의 자원자들을 모집해 대규모 예측 토너먼트인 ‘좋은 판단 프로젝트(Good Judgment Project)’를 실시했다. 자원자들은 4년여 기간 동안 세계에서 일어나는 약 500개 이상의 지정학적 사건들에 대해 예측했다. 은퇴한 컴퓨터 프로그래머, 사회 복지사, 주부 등 그저 보통사람들로 구성된 이들은 표준 집단 경쟁자들은 물론 예측시장의 전문가들을 제압했으며, 심지어 기밀 정보를 다루는 국가 정보 분석가들의 집합적 판단 적중률까지 능가했다. 이들이 바로 ‘슈퍼 예측가들(Superforecasters)’이다. 그들은 어떻게 미래를 명확히 보았을까? 그리고 이러한 능력은 터득할 수 있는 것인가? 이 책은 명실공히 세계 최고 사회학자가 수십 년간 진행해온 예측에 관한 연구 과정을 소개함과 동시에 ‘좋은 판단 프로젝트’에서 탄생한 슈퍼 예측가들의 사고방식과 방법론을 공개한다. 4차 산업혁명의 시대, 불확실한 미래를 선점하고 싶은가? 당신에게 가장 필요한 것은 다름 아닌, 예측력이다. 정책, 금융, 국제 문제, 비즈니스에서는 물론 일상생활에서 미래를 명확히 볼 수 있는 효율적인 방법들이 가득한 이 책은, 단언컨대 현대의 고전이 될 것이다! “아직도 당신은, 전문가의 전망에만 의지하는가?” 세계 최고 사회학자가 밝혀낸 전문가들의 실상과 예측 과학의 모든 것 대통령 투표, 신제품 출시, 주식 구입, 하다못해 식사 메뉴를 선정할 때도 우리는 예측을 한다. 마침내 당신이 내린 결정은 앞으로 벌어질 일에 대해 당신이 예측한 결과인 것이다. 그렇다면 당신의 예측은 얼마나 정확한가? 혹여, 그동안 예측이란 전문가들의 몫이라고 생각하며 그들이 내놓는 전망에만 귀를 기울이고 있지는 않았는가? 재미있는 이야기가 하나 있다. 정확성으로만 따지자면, 전문가들이 내놓는 예측이나 원숭이가 다트를 던져 나오는 예측이나 대충 비슷하다는 것이다. 이 이야기는 [뉴욕타임스], [월스트리트저널], [파이낸셜타임스], [이코노미스트] 등 전 세계 유명 매체가 앞다퉈 소개해 크게 화제가 됐다. 내용인즉슨, 어떤 연구원이 다수의 학자와 전문가로 구성된 그룹에게 경제, 주식, 선거, 전쟁 등 여러 당면 문제에 대해 예측해달라고 요청했다. 시간이 지난 뒤 그 연구원은 전문가 그룹이 내놓은 예측의 정확성을 측정했는데, 놀랍게도, 전문가의 예측이나 무작위적인 추측이나 별 차이가 없었다! 그 연구원이 바로, 《슈퍼 예측, 그들은 어떻게 미래를 보았는가(Suprerforecasting)》의 저자 필립 E. 테틀록 교수다. 펜실베이니아 대학교 심리학과 및 정치학과, 와튼 스쿨 교수인 그는 자타 공인 세계 최고의 사회학자로, 저서 《전문가의 정치적 판단》, 《세계 정치에 담긴 반사실적 사고실험》이란 저술을 통해 미국 정치학회와 전미 과학진흥협회 등으로부터 여러 상을 받았다. 그는 1984년부터 2004년까지 약 20년에 걸쳐 과학적 문헌에 나타나는 전문가들의 판단을 연구해 이와 같은 충격적인 결과를 얻었다. 그런데 그게 끝이 아니었다. 테틀록 교수가 미국 정보 커뮤니티 기관의 지원을 받아 자신의 동료이자 아내인 바버라 멜러스와 함께 2011년부터 대규모 예측 토너먼트, ‘좋은 판단 프로젝트’를 시작한 것이다. 그는 인터넷을 통해 2,800명의 자원자를 모집했다. 이들은 그저 시사에 관심이 많은 보통사람들로, 은퇴한 컴퓨터 프로그래머, 사회 서비스 복지사, 주부 등 직업도 다양했다. 연구진들은 4년이 넘는 기간 동안 그들에게 뉴스나 정보원을 참조하여 어떤 사건이 일어날 확률을 평가하도록 주문했다. 그들에겐 전문적으로 이 일을 하는 정보 분석가들이 매일 답해야 하는 문제가 거의 500개가량 제시됐다. 결과는 반전이었다. 보통사람들로 구성된 이 집단은 머잖아 예측시장의 전문가들을 가볍게 제압하고 기밀 정보를 다루는 국가 정보 분석가들의 예측 적중률까지 뛰어넘었다. 자원자들 중에는 남들보다 유달리 성적이 좋은 사람들 즉 ‘슈퍼 예측가’가 있었다. 저자들은 전문가들보다 미래를 보다 명확하게 내다보았던 이 슈퍼 예측가들의 전략을 보다 깊이 연구하여 그들의 사고방식과 방법론에 대해 발견한 것을 이 책에 담았다. “그들은 고슴도치인가, 여우인가?” 불확실한 세상, 당신에게 필요한 폭스 싱킹! 2,500년 전 그리스의 시인이자 전사인 아르킬로코스(Archilochos)는 자신의 시집에 이렇게 썼다. “여우는 많은 것을 알지만, 고슴도치는 중요한 것 한 가지를 안다.” 저자인 테틀록 교수는 [뉴욕타임스]의 칼럼니스트인 토머스 프리드먼처럼 미래에 대해 확신에 가득 찬 예측으로 빅 아디이어를 내놓는 전문가들을 ‘고슴도치’로, 약간은 소심하지만 보다 절충적인 대안들을 내놓는 전문가들을 ‘여우’로 비유했다. 여우는 고슴도치가 대담하게 90%와 100%로 예측하는 곳에서 60%와 70%의 예측을 내놓았다. 그리고 새로운 정보가 생길 때마다 자신의 예측을 조금씩 수정해갔다. 결국 이기는 쪽은 여우였다. 그들에겐 정말로 예지력이 있었다. 무작위 추측보다도 못한 성적을 내는 고슴도치, 즉 우리가 전문가로 지칭하는 이들을 능가하는 진짜 뛰어난 예측가의 비결은, 여우같은 사고법이었다. 슈퍼 예측가들은 특히 분석 도구를 많이 활용했는데, 주어진 특정 문제와 관련된 도구들을 선택했다. 이들은 가능한 한 많은 곳에서 많은 정보를 수집했다. 그들은 생각하는 도중 사고의 변속기를 자주 바꾸었고 ‘그러나’ ‘하지만’ ‘그럼에도 불구하고’ ‘한편’ 등의 연결사를 종종 사용했다. 특히 확실성이 아니라, 가능성이나 확률을 말했다. ‘내가 틀렸다’라는 말을 하기 좋아하는 사람은 없겠지만, 이들 전문가들은 기꺼이 잘못을 시인하고 생각을 바꿨다. 좀처럼 자신의 생각을 바꾸지 않는 고슴도치에 비해, 보다 유연한 마음가짐으로 생각을 고쳐나간 여우의 사고법이 미래에 벌어질 사건에 대한 예측 적중률을 보다 명확히 끌어올린 것이다. 이 책은 대중이 의지하는 예측 전문가들의 예측 적중률이 얼마나 형편없는지를 밝히며, 사실은 잘 알지 못하는 것들을 잘 안다고 믿는 인간의 심리적 요인을 살핀다. 또한 현대 의학의 치료 효과를 검증하는 것만큼이나 예측의 정확성을 검증하기 위해 필요한 요소를 검토하고, 예측 토너먼트를 치르면서 발견한 슈퍼 예측가들의 사례를 다룬다. 그들은 어떻게 미래를 보았을까? 그들이 천재이거나 수리에 밝거나 뉴스광이기 때문일까? 중요한 것은 그들이 ‘무엇을 생각하느냐’가 아니라 ‘어떻게 생각하느냐’였다. 다행인 것은, 이 책의 감수를 맡은 국내 최고 미래학자, 최윤식 박사가 말했듯이 “슈퍼 예측가들이 사용하는 방식들은 타고난 능력이 아니며, 누구나 훈련을 통해 충분히 장착할 수 있는 생각의 기술”이라는 것이다. 친절하게도 저자들은 슈퍼 예측가들을 그야말로 ‘슈퍼’로 만든 비결을 정리해, ‘슈퍼 예측을 꿈꾸는 이들을 위한 십계명’이라는 부록으로 제공한다. [이코노미스트] [블룸버그] 선정 올해의 책! 인공지능, 로봇기술, 생명과학이 주도하는 차세대 산업혁명, 즉 4차 산업혁명 시대의 도래를 앞두고, 수많은 전문가들이 다양한 예측과 대책을 내놓고 있다. 이 책을 읽은 독자라면, 그들의 전망에만 휘둘리지 않을 것이다. 다양한 정보를 활용해 여우처럼 생각하고, 우리의 앞을 가리고 있던 안개를 걷어내 보다 선명한 미래를 마주할 것이다. [이코노미스트], [블룸버그]가 ‘올해의 책’으로 선정한 이 책에 쏟아진 수많은 찬사들을 인용하는 것으로 이 책에 대한 서평을 마무리하려 한다. 《슈퍼 예측, 그들은 어떻게 미래를 보았는가》는 우리 주변의 어수선한 세상을 보다 정확히 이해하고 지적으로 대응할 기회를 제공한다[뉴욕타임스]. 그가 밝힌 슈퍼 예측가를 꿈꾸는 사람들을 위한 십계명은 업무 회의실에서 가장 상석에 자리해야 할 것이다[포브스]. 이 책에 실린 마인드세트와 기술, 습관은 앞날의 의미를 생각해야 하는 사람들에게 주는 하나의 선물이다. 다시 말해 모든 사람에게 주는 선물이다[이코노미스트]. 조금이라도 더 정확한 예측을 위해 애쓰고 있는 업계와 재계의 관련자들은 이 책을 통해 많은 소득을 얻을 것이다, 따라서 이 방법을 터득하지 못한 사람은 많은 것을 잃을 수도 있다[파이낸셜포스트]. [감수의 글] 커제 9단을 완파한 후 더 이상 적수가 없는 알파고는 바둑계에서 은퇴를 선언했다. 이세돌 9단이 알파고에게 얻은 1승은 바둑 역사에서 인간이 인공지능을 이긴 유일한 1승으로 남았다. 이런 결과는 ‘머지않아 인간이 인공지능의 지배를 받게 될 것’이라는 두려운 미래를 상상하게 만든다. 그런데 정말 그렇게 될까? 인공지능이 인간을 지배하는 극단적 미래상은 ‘생각해볼만한 미래’이긴 하지만, 이런 미래가 도래할 가능성은 현저히 낮다. 그럼에도 불구하고, 극단적인 두려움이 활개를 치는 이유는 무엇일까? 여러 가지 이유가 있지만, 가장 중요한 이유 중 하나는 미래에 대해 생각하는 방식이 잘못되었기 때문이다. 미래학과 미래적 사고를 가르치고 연구해온 한 사람으로서, 《슈퍼 예측, 그들은 어떻게 미래를 보았는가》는 일반인은 물론이고 미래연구자가 되고 싶은 이들에게 적극 추천하고 싶은 책이다. 한마디로, ‘미래를 예측하는 방법’을 제대로 가르쳐주는 책이기 때문이다. 초불확실성의 시대를 살아가는 우리에게 미래예측은 대단히 중요한 기술이다. 하지만 미래예측에 대한 신화적 사고나 잘못된 인식 때문에 많은 사람들이 이 기술을 습득하는 것을 포기하거나 폄하한다. 물론 미래를 예측한다는 건 쉬운 일이 아니다. 그렇다고 불가능한 것만도 아니다. 누구나 노력하면 충분히 습득할 수 있다. 저자들의 말처럼 슈퍼 예측가들이 사용하는 방식들은 타고난 능력이 아니며, 누구나 훈련을 통해 충분히 장착할 수 있는 생각의 기술이다. 이것이 바로 미래를 연구하는 학자로서 이 책을 많은 이들에게 추천하고 싶은 이유다. 최윤식_미래학자이자 아시아미래인재연구소장, 전 뉴욕주립대 미래연구원장 [책 속으로 추가] 좋은 판단의 또 다른 중요한 차원은 좋은 질문을 던지는 것이다. 사실 재앙이나 기회를 미리 간파하여 신호를 보내주는 선견지명을 가진 예측은 누가 그런 질문을 제기할 생각을 해야 나올 수 있다. 그렇다면 어떤 질문이 좋은 질문일까? 좋은 질문은 정말로 생각해봐야 할 문제를 실제로 생각하게 만드는 질문이다. 그런 질문을 식별하는 방법이 1가지 있다. 내가 ‘이마 치기(smack-the-forehead)’ 테스트라고 이름을 붙인 방법이다. 시간이 지난 다음에 어떤 질문을 보았을 때 이마를 치며 이렇게 말하게 된다면 그것은 좋은 질문이다. “아, 이런 질문을 좀 더 미리 생각했어야 했는데!” 12장 예측의 미래_불확실한 미래를 명확히 볼 수 있다면 p.401 의심의 정도를 구분하되 그 이상은 구분하려고 하지 말라. 세상에는 확실한 것이 거의 없으며, 불가능한 것도 그리 많지 않다. 그리고 ‘아마도’는 그다지 도움이 되지 않는다. 그러니 불확실성의 눈금판을 3가지 이상으로 세팅해야 한다. 미묘한 차이를 중요시해야 한다. 불확실성의 정도를 더욱 자세히 구분할수록 좋은 예측자가 될 수 있다. 포커에서 40/60의 베팅과 60/40 베팅 또는 45/55 베팅과 55/45 베팅을 잘 구분한다면, 상대방보다 더 훨씬 유리한 입장에 설 수 있다. 모호한 말투의 암시를 수치적 확률로 바꾸는 작업도 자꾸 하다 보면 익숙해진다. 그러기 위해서는 꾸준한 인내심이 필요하다. 슈퍼 예측가들이 그런 사실을 기록으로 입증해준다. 부록__슈퍼 예측가를 꿈꾸는 사람들을 위한 십계명 pp.423~424

감수의 글_누구나 미래를 볼 수 있다(미래학자 최윤식) 1장 낙관적 회의론자 : 미래를 보다 명확하게 볼 수 있다는 희망 원숭이보다 못한 예측 전문가들 | 예측할 수 없는 미래 | 가능성 있는 미래 | 예측에 관한 예측 2장 지식의 허상 : 왜 전문가의 판단을 의심하지 않는가? 장님 코끼리 만지기 | 시험대에 오른 의학 | 생각에 관한 생각 | 미끼와 바꿔치기 | 직관과 분석을 통합하라 3장 점수 매기기 : 예언이 아닌, 숫자로 예측하라 빗나간 예측 포장하기 | 판단을 판단하다 | 수학의 의미 | 전문가의 정치 판단 | 여우처럼 생각하기 | 잠자리의 눈 4장 슈퍼 예측가들 : 전문가를 뛰어넘은 평범한 사람들 틀릴 수 없다는 확신 | 극단에서 벗어난 골디락스 존 | 실력인가 행운인가 5장 슈퍼 스마트 : 최고의 예측가들은 모두 천재인가? 페르마이징하라 | 살해 여부를 둘러싼 미스터리 | 외부 관점이 우선 | 내부 관점으로 탐색하기 | 정반합의 진리 | 잠자리 예측법 6장 슈퍼 퀀트 : 예측은 수학 천재들에게 유리한가? 오사마는 어디에 있을까? | 제3의 설정 | 석기시대의 확률 | 정보시대의 확률 | 불확실성을 인정하라 | 왜가 아닌, 어떻게 7장 슈퍼 뉴스광 : 정보 수집과 업데이트의 힘 미묘한 정보 반영하기 | 느린 반응의 결과 | 과잉 반응의 폐해 | 꾸준한 업데이트의 힘 8장 영원한 베타 : 사실이 바뀌면 생각도 바꾼다 일관성이 없다는 비난 | 이론보다 시도 | 피드백, 실패의 유익 | 분석과 수정 | 그릿 | 슈퍼 예측가의 초상 9장 슈퍼 팀 : 대중의 지혜가 개인의 지혜를 이기는가? 집단사고와 정확성 | 슈퍼 팀의 탄생 | 공유하는 문화 10장 리더의 딜레마 : 최고의 예측과 리더의 실적 몰트케의 유산 | 독립적 사고의 힘 | 비즈니스와 임무형 지휘 | 특이한 형태의 겸손 | 그 밖의 문제 11장 그들은 정말 슈퍼인가? : 다른 사람이 아니라, 다르게 행동할 뿐 뮐러리어의 착시 | 블랙 스완의 한계 | 빗나갈 예측에 대한 계획 12장 예측의 미래 : 불확실한 미래를 명확히 볼 수 있다면 예측의 장애물 | 변화에 대한 희망 | 인문주의자들의 반대 | 좋은 판단을 이끄는 좋은 질문 | 승리보다 진실을 추구하라 맺음말_수정하고 다시 도전하라 부록_슈퍼 예측가를 꿈꾸는 사람들을 위한 십계명 감사의 말 주 본문 중에서

언론 매체는 매일 누군가의 예측을 소개하지만 그 예측이 얼마나 정확한지에 대해서는 확인하지도 묻지도 않는다. 그리고 매일 한 나라의 지도자나 기업의 간부들이나 투자자나 유권자들은 이런 검증되지도 않은 예측을 근거로 중요한 결정을 내린다. 야구단을 운영하는 사람들은 특정 선수를 스카우트할 때 그 선수의 기록을 반드시 검토한다. 2번, 3번 꼼꼼히 확인하지 않고는 절대로 지갑을 열지 않는다. 팬들도 경기를 볼 때 스코어보드나 TV 화면 아래쪽에서 선수의 기록을 확인한다. 그런데 야구 경기보다 훨씬 중요한 결정을 내릴 때는 아무렇지도 않게 이런 무지를 당연히 여긴다. 적어도 예측하는 사람들에 관한 한은 그렇다. 1장 낙관적 회의론자_미래를 보다 명확하게 볼 수 있다는 희망 p.17 몇십 년 전, 영국의 철학자 아이자야 벌린(Isaiah Berlin)은 호평을 받았지만 좀처럼 읽히지 않는 에세이를 썼다. 그 글은 오랜 세월 위대한 저술가로 알려진 사람들의 사고 유형을 비교한 글이었다. 그는 조사한 내용을 체계화하기 위해 전사이자 시인이었던 아르킬로코스의 것으로 추정되는 2,500년 전의 그리스 시집을 인용했다. “여우는 많은 것을 알지만, 고슴도치는 중요한 것 1가지를 안다.” 아르킬로코스가 여우 편이었는지 고슴도치 편이었는지는 알 수 없지만 벌린은 여우 편을 들었다. (중략) 나는 빅 아이디어 전문가를 ‘고슴도치’로, 좀 더 절충적인 전문가들을 ‘여우’로 부르기로 했다. 이기는 쪽은 늘 여우다. 겁 많은 닭처럼 행동해서는 이기지 못한다. 여우는 고슴도치가 대담하게 90%와 100%로 예측하는 곳에서 60%와 70%의 예측을 내놓았다. 여우는 보정과 분해능 모두에서 고슴도치를 이겼다. 여우들은 정말로 예지력이 있었고, 고슴도치에게는 그것이 없었다. 3장 점수 매기기_예언이 아닌, 숫자로 예측하라 pp.113~114 슈퍼 예측가들의 성적은 보통 예측자들보다 60% 이상 앞섰다. 슈퍼 예측가들의 실력을 판별할 수 있는 또 다른 기준은 미래를 얼마나 멀리 내다볼 수 있는가 하는 점이었다. 토너먼트가 치러지는 4년 동안 300일을 내다본 슈퍼 예측가들이 100일을 예측한 일반 예측자들보다 더 정확했다. 다시 말하면, 일반 예측자들이 슈퍼 예측가만큼 내다보려면 그들보다 3배의 예지력을 갖춰야 한다는 말이다. 4장 슈퍼 예측가들_전문가를 뛰어넘은 평범한 사람들 p.149 슈퍼 예측가들은 보통사람들보다 이런 진리를 더욱 잘 이해한다. 가령 환율시장 같은 불확실성을 해결할 수 없는 어떤 문제를 대할 때 그들은 조심하는 법을 터득하기 때문에, ‘아마도’의 구역 중 35%와 65% 사이 어딘가에서 최초 추측을 한 다음 수치를 수정해간다. 시야가 ‘더 흐릴수록’ 다트를 던지는 원숭이를 이기기가 더 어렵다는 사실을 그들은 절감한다. ‘50 대 50’이라는 말에서도 그런 증거를 찾아낼 수 있다. 조심스럽게 확률적으로 생각하는 사람들에게 50%는 범위가 너무 넓은 설정이어서 그들은 좀처럼 50%라는 말을 사용하지 않으려고 한다. 그보다는 49%나 51%를 선호한다. 6장 슈퍼 퀀트_예측은 수학 천재들에게 유리한가? p.223 슈퍼 예측가가 그녀의 종착역은 아니다. 슈퍼 예측가들을 보면 알 수 있지만, 그것은 또 하나의 출발점일 뿐이다. 슈퍼 예측가가 되어도 더 많이 시도하고 실패하고 분석하고 수정하고 다시 시도해야 한다. 컴퓨터 프로그래머들은 종종 어떤 프로그램의 최종 버전을 내놓지 않고 있는 그대로 사용하면서 끝없이 분석하고 계속 업그레이드한다. 그들은 그런 프로그램을 ‘영원한 베타(perpetual beta)’라고 부른다. 슈퍼 예측가는 영원한 베타다. 8장 영원한 베타_사실이 바뀌면 생각도 바꾼다 p.290 우리는 예측자들을 3가지 부류로 나누어 경제학자들의 생각이 맞는지 실험했다. 첫 번째는 단독으로 활동하는 부류였다. 두 번째는 팀을 이뤄 작업했다. 세 번째는 잉클링(Inkling)이나 루메노직(Lumenogic) 같은 기업들이 운영하는 예측시장의 트레이더들이었다. 물론 1년 차가 끝나고 팀의 중요성이 확실히 입증되었을 때 혼자 작업한 예측자들이 팀이나 예측시장과 대등한 실적을 올릴 것이라고 예상한 사람은 아무도 없었다. 그래서 우리는 ‘대중의 지혜’를 얻기 위해 모든 예측을 결합하여 가중치를 사용하지 않은 평균값을 계산했다. 그리고 우리에게는 비교할 대상이 하나 더 있었다. 슈퍼 팀이었다. 결과는 매년 분명하게 드러났다. 일반 예측자 팀은 대중의 지혜를 10% 정도 차이로 눌렀다. 예측시장은 일반 예측자 팀을 약 20% 차이로 이겼다. 그리고 슈퍼 팀은 예측시장을 15~30% 차이로 눌렀다. 9장 슈퍼 팀_대중의 지혜가 개인의 지혜를 이기는가? p.314