빅데이터에 대한 이런저런 말들이 많아서 궁금증이 생겨서 사놨는데 못보다가 마침 이번에 빅데이터 및 R 강의를 듣게되어서 도대체 이 강의를 듣고 뭘 할수 있게 되는건지 궁금해서 펼쳐 보게 됨.
풍부한 실례를 들어서 실제로 어떤 곳에 사용되는지를 설명해준다.
빅데이터란 건 결국 예전에는 기술력이 미치지 못해 수집하지 못했던 방대한 양의 데이터를 확보하게 되었고 그를 분석하고 예측 모델을 만들어서 새로운 가치를 창조해내는 것이지만, 작업 자체는 이전의 Small data가 존재했을 때와 방식이달라진 것은 아닌 듯하다. 단지, 많은 양의 데이터로 인해 예측의 정확성이 이전과는 비교할 수 없을 정도로 향상되었다는 것. 사실 판별분석이나 회귀분석 모델은 이전부터 존재해왔던 것이 아닐까? 반응 향상 모델링이라는 것도
결국은 실험군과 대조군 사이의 비교를 하는 것이고.
판별분석도 실험용 데이터와 검증용 데이터가 존재하고 실험용 데이터로부터 판별식을 도출하고 검증용 데이터로 이것을 검증하는 것이니까 전혀 새로운 방법론이 생긴건 아니란거다.
결국은 자신의 분야에 대한 전문성이 없이 데이터만 다룰 줄 알게 되면 테크니션에 불과하고 자신의 분야에 대한 통찰이가장 중요한 것이라는 생각이 든다.
요새 자꾸 R이나 데이터분석, 머신 러닝 이런 분야에 관심이 생긴다. 어떻게 보면 완전 그냥 재미 때문에 시간을 들이는거고 당장 뭔가 성과가 나올 부분은 아닌데...뭔가 나중에 이것과 관련된 연구나 일을 하게 되지 않을까 하는
느낌이 아주 강하게 든다.
이 책에서 가장 짜릿했던 부분은 여기다. (343) 의료진단에 대해서 생각해 보자. 문서화된 지식이 넘쳐나는 까닭에 그것들을 전부 읽을 수 있는 의사는 없다. 만약 환자 개개인의 일련의 진단 결과에 따른 후보 답안들에 순위를 매긴 리스트를제공한다면 의사들이 정답을 줄여줄 수 있다. 컴퓨터 시스템이 (제퍼디) 에서 과거 답안들 그리고 의료분야에서의 진단내역들 같은 훈련용 데이터로부터 학습함으로써 지식 소스들을 잘 분석할 수 있도록 가이드해 준다는 것은 "의사결정 지식을 포착하고 제도화" 하는 방식이기도 하다.
왓슨이 질문에 답을 내는 방법은 의사가 진단을 하는 방법과 본질적으로 같다. 의사의 진단은 여러가지의 정보를 종합하여 가능한 진단에 대해서 가장 높은 확률부터 낮은 확률까지 질환명을 제시하고 그 중에서 가장 확률이 높은 것을 진단명으로 제시한다. 왓슨도 마찬가지이다. 여러가지 답변의 정답 가능성을 리스팅 하고 가장 상위의 답변을 제시한다.
그렇다면 진단과정을 대신해주는 알고리즘을 개발할 수 있다는 것이다. 거기에 필수적으로 수반되는 질문은 텍스트의 의료지식을 습득하는 측면에서 기계학습과정을 거친 기계가 더 정확도 면에서 높은 진단명을 제시한다면 그때 부터 의사의역할은 무엇이 될까? 진단은 여러 정보를 종합하는 과정이라지만, 컴퓨터 역시 여러 정보를 종합할 수 있다면, 그리고 사람보다 더 정확한 진단명을 제시해 줄 수 있다면?
물론 한의계에서는 슬프게도 진단의 골든 스탠다드가 거의 존재하지 않는다. 생각해 볼 수 있는 방법은 의사 2-3인의 진단이 일치하는 경우나, 진단 설문지 등을 만드는 것일 테지만. 그래서 진단 알고리즘을 개발하는 방식의 연구는 한의계에서는 골든 스탠다드부터 만들어 나가야 한다는 벽에 부딪힌다.
하지만 이런 부분도 생각해 볼 수 있다. 진단은 어쩔 수 없다하더라도, 치료효과를 객관적으로 판단할 수 있는 방법이 있다면 (그것이 이분형이던 연속형이던 간에) 치료 효과를 예측할 수 있는 모델을 만들어 볼 수 있다. 어떤 처방의 치료효과에 있어 충분히 많은 수의 특정 처방 사용환자가 모이고, 그들의 치료 효과를 객관적으로 판단하고, 처방과 관련된 증상,병력, 인구학적 특성 들이 모이면 이 처방이 어떤 사람에게 효과가 있을지 (정확히는 효과가 있을 확률이 얼마나 될지) 투약전에 미리 알 수 있을 것이다. 이러한 모델이 여러 처방들이 쌓이면 마찬가지로 어떤 처방이 이 환자에게 가장 적합할지 제시할 수도 있을 것이다. 즉 새로운 탕증을 제시할 수 있는 것이다.
그렇다면 , 개인적으로는 회의적인 증상 - 변증 -처방 모델을 뛰어넘어 현대에 걸맞는 데이터에 기반한 탕증 모델로의 한약 사용 방식의 변환이 가능하지 않을까?
이 책을 읽으면서 한의약 연구에 대해서 여러가지를 생각해 볼 수 있었다.
당신이 시간이 없는 의학연구자라면, 딱 다음 한쪽을 읽으면 된다.
(385-6) 개인 맞춤형 의료 : 한가지 의학처방이 다른 의학처방들보다 평균적으로 더 나은 결과를 가져올 수 있다는 것은맞다. 하지만 임상시험에서 통상적으로 시행되는 이러한 천편일률적 접근 방식은 다수의 사람들에게 도움이 되는 치료조치를 선택함으로써 실제로는 일부 소수에게 상해를 입힐 수도 있다는 것을 의미한다. 이렇게 함으로써 의료관련 의사결정은 떄때로 의도와는 정반대의 결과를 내게 된다. (중략) 개인맞춤형 의료는 각 환자별로 어떤 의학처방이 가장 적합할것인지를 예측하는 것을 목적으로 한다. 그것은 마케팅 조치와 관련된 의사결정에서 사용한 향상 모델링 기법과 유사하게 특정한 조치의 결정에 따른 영향을 예측하는 데이터 분석 방법론을 사용한다. 예를 들어 심부전증에 대해서 베타블로커 처방여부를 결정하게 위해 "2개의 독립적인 데이터 집합을 사용하여 체계적이면서 대상별로 특화된 조치 선택절차를개발한다 (claggett 2011 heart failure beta blocker 못찾음) 특정한 HIV 처방은 어린아이들에게 더 효과적이라고 밝혀졌다. 다양한 종류의 암에 대한 처방은 유전자 표지자에 의해서 타깃을 정할 수 있다. 이는 굉장히 중요한 트렌드로 FDA에의해 새로 개발되는 의약품에 대해서 "그 약이 도움을 주고자 의도하는 환자들, 즉 그로 인해서 가장 혜택을 많이 받을 가능성이 높은 환자들에게 주어질 수 있도록 하기 위해서 신뢰성 있게 [유전자] 변형을 탐지할 수 있는 동반진단검사(companion test)를 점점 더 많이 요구하고 있다
(26-7) 기계 학습
예측을 하려면 무엇을 해야 하는가?
아이디어는 간단하다. 과학적인 수단으로 예측모델을 개발하고 지속적으로 그 모델을 개선하는 것. 즉 문자 그대로 예측하는 것을 '학습' 함으로 써 위와 같은 과제를 해결할 수 있다.
해결책은 바로 '기계학습(machine learning)' 이다.
- 나중에 EDX나 Coursera 에서 machine learning 이 나오면 한번 들어봐야 겠다. 한의계에서도 예측 모델을 적용할 분야는 무궁무진하게 많다. 판별 분석이나 multinomial logistic regression 을 적용한 변증 도구 같은 것도 결국은 많은 수(?)의 샘플을 이용한 예측 분석이니까.
3장 데이터 효과
(148) 사람들의 집단적 정서를 시각화하기
에릭과 캐리의 불안지수는 혁신적인 설계이긴 하지만 그 지수가 가치있다는 것을 증명해 주지는 못했다. 자신들의 연구가 유효하다는 것을 입증하기 위해서는 자신들의 측정방법이 무언가 실제적이고 구체적인 것과 연결되어 있다는 객관적인 증거를 찾아야 했다. 이 시스템의 분석결과가 현실세계에서 일어나는 일들과 연관이 있다는 증거 없이는 집단적 정서를 포착하는데 성공했다고 주장할 수 없다. 그럴 경우 이 연구는 그저 한무더기의 숫자들에 불과한 것으로 남게된다.
(159) 데이터의 증가는 기하급수적이다. 논리적으로 이 다음에 이어질 질문은 다음과 같은 것이다. 이 모든 것들로부터할 수 있는 가장 가치있는 일은 무엇일까?
이 책의 대답은 이러하다. 그로부터 예측하는 법을 배워라.
(162-3) 예측분석을 하기 위해서 사용되는 '예측 변수' 에는 어떤 것들이 있을까?
최근 구매행위를 한 시점으로부터 몇 주가 지났는지를 숫자로 표현하는 최근성(recency)
한 개인이 그 행위를 몇번이나 했는지를 가리키는 빈도(frequency) 라는 변수 또한 많이 사용하는 척도. 어떤 행위를 자주한 사람은 그 행위를 다시 할 가능성이 높다.
과거에는 지역이나 성별과 같은 무미건조하면서도 핵심적인 인구학적 특성들을 많이 활용한 반면에 예측 분석은 이를 더확장하여 최근성, 빈도, 구매, 금융활동, 통화, 웹서핑 등 '행위예측변수'를 포함하는 데이터를 섭취한다. 상당수의 경우이러한 행위들은 가장 가치있는 데이터이다. 우리가 예측하고자 하는 것은 항상 특정한 행위이며, 실제로 행위가 행위를 예측하게 해준다. 장폴 사르트르가 말했듯이 (한사람의) 행동이 그의 진정한 자아를 말해준다.
예측분석은 수십 개의 예측변수를 결합함으로써 이루어진다. 한 개인에 대해서 알고 있는 모든 것을 컴퓨터에게 알려주고, 그것이 알아서 하게 내버려두라. 이러한 요소들을 결합할 줄 아는 핵심인 기계학습 테크놀러지야말로 진정한 과학적마술이 일어나는 무대이다.
(189) 다른 한편으로는 애릭과 캐리의 연구에 대한 세상의 관심으로 인해서 그것의 잠재력이 감소될 수 있다. 애릭과 케리가 쓴 바와 같이 "바로 이 논문의 출판 자체가 그 효과를 무효화할 수 있다"
4장 학습하는 기계
(222-3) 과잉학습 /과적합화(overfitting)
학습을 죽이는 범인은 과잉학습이다. 과잉학습은 잡음을 정보로 잘못 간주하는 함정인데, 데이터로부터 너무 많은 것을고려 요소에 포함시키는 것을 말한다. 당신이 너무나 많은 것을 숫자로 읽어들이면 과잉학습을 하게 되어 잠재되어 있는진실을 발견하는 것으로부터 오히려 멀어지게 된다. (중략) 학습과 과잉학습 사이에서 균형을 유지하는 것은 심오한 도전과제이다. 예측 모델은 일반화할 수 있는 진실을 학습하였는가, 아니면 이 데이터 세트에만 적용될 수 있는 패턴을 발견한 것에 불과한가? 만약 내일, 어떤 모델이 과거에는 접하지 못했던 다른 상황에서 예측을 해야 한다면 그 모델이 제대로작동할 수 있다고 확신할 수 있을까?
(223) 기계학습의 목표는 귀납이다.
(226) 의사결정 나무와 경쟁하는 수학적 방법론들의 이름은 '인공신경망' 로그 선형회귀' '서포트 벡터 머신(support vector machine) '트리넷(treenet)' 등이다.
기계가 제대로 학습하였는지 검증하려면?
(228-9)진정한 학습인지 검증하기 위해서 화려한 수학이 필요한 것은 아니다. (중략) 모델을 검증하기 위해서 일부 데이터를 떼어놓아라. 먼저 데이터를 무작위로 선택하여 별도로 테스트용 세트로 격리시킨다. 그런다음 데이터의 나머지세트만을 훈련용 세트로 사용하여 모델을 만든다. (중략) 수학이론도 필요없고 첨단과학도 필요없는 우아하면서도 현실적인 해결책인 것이다.
(230) 하지만 이런 접근 방식에도 단점은 있다. 검증용 세트에 포함된 사례들로부터 학습할 수 있는 기회를 포기하고 원래의 전체 데이터 세트보다 작은 훈련용 세트만 가지고 모델을 생성하게 된다는 점이다. 일반적으로 이것은 전체 훈련용데이터 중에서 검증용 데이터로 격리된느 20-30%의 손실을 의미한다. 그러나 훈련용 데이터는 대부분 충분히 커서 검증용 데이터를 포기한다 해도 성과의 측정을 위해 치르는 작은 대가에 불과하다.
(232-3) 1960년대 초 의사결정 나무가 처음으로 진지한 관심을 끌기 시작했을 때 의사결정 나무는 과잉학습으로 인해서좌중의 폭소를 불러올 정도로 실패했다. (중략) 의사결정 나무를 포기하지 않았던 연구자들도 학습과 과잉학습을 가르는선을 공식적으로 정의하는 것이 쉽지 않았다. (중략) 이러한 딜레마에 대한 가장 인기있는 해결책은 아이러니였다. 지나치게 많은 학습을 피하기 위해서 고삐를 조이는 것이 아니라 오히려 전혀 고삐를 조이지 않는 것이었다. 끝까지 진행하면서 너무나 많이 학습하도록 내버려둔다. 그러고 나서 다시 뒤로 돌려 하나씩 하나씩 학습한 것들을 잊어버리게 한다. 그리하여 결국 원점으로 돌아와 너무 적게 학습하게 될 때까지 진행한다. 그러면서 예측하게 하고 잘못을 저지르게 한다.왜? 잘못은 그것을 저지른 이후에야 명백히 알 수 있기 때문이다. 다른 말로 하면 나무를 지나치게 크고 무성해질 때까지자라게 했다가 다시 가지를 쳐나가는 것이다. 여기서 비법은 나무의 확장을 결정지었던 훈련용 데이터에 의존하여 가지치기를 하는 것이 아니라 확장이 뒤틀리는 지점을 드러내주는 검증용 데이터에 의존하여 가지를 쳐내야 한다는 것이다.그것은 학습과 과잉학습의 미묘한 균형을 이룰 수 있게 해주는 믿을 수 없을 만큼 우아한 해결책이다.
나무를 가지치기 하는 것은 거쳐온 단계들을 뒤로 밟아 나가는 것이며 결과적으로 오류로 판명된 기계학습의 일부 미세조정을 취소하는 것이다.
(234) 나무가 자라면서 (이 나무가 자라기 위해서 사용한 훈련용 데이터를 대상으로 측정한) 정확도는 계속 개선되어 나간다. 그러나 동일한 성장과정에 대하여 그 진실성을 검증하기 위해서 검증용 세트를 대상으로 하여 편향되지 않은 정확도를 측정해 보면 초기에 정점에 도달했다가 계속 성장해 나가면서 과잉학습을 하게 되어 예측 성과가 오히려 감소하는것을 볼 수 있다.
(235-9) 이러한 잡초들을 방지하기 위해서는 오컴의 면도날이라고 알려진 원칙을 따라야 한다. 유효한 데이터에 대해서가장 단순한 해석을 추구해야 한다는 말이다. 이 원칙에 깔린 철학은 더 인색한 모델들을 추구하면 더 나은 모델을 발견하게 된다는 것이다. 이러한 전술은 의사결정 나무에 의도적으로 깔려 있는 귀납적 편향의 일부를 명확히 인식한다. 이것이 의사결정 나무를 의미있게 만들어 주는 것이다.
의사결정 나무 모델의 주요한 표준적 기법 중 하나가 분류 및 회귀나무 (CART : Classification and Regression Tree) 이다.
오컴의 면도날 (흔히 경제성의 원리 라고 한다) : 1. 필요하지 않은 경우까지 많은 것을 가정하면 안 된다. 2. 더 적은 수의논리로 설명이 가능한 경우 많은 수의 논리를 세우지 말라. 요약하자면 어떤 현상을 설명할 때 불필요한 가정을 해서는안된다는 말이다. 좀 더 쉬운 말로 번역하면 '같은 현상을 설명하는 두 개의 주장이 있다면, 더 간단한 쪽을 선택하라' 는뜻이다. 여기서 면도날은 필요하지 않은 가설을 잘라내 버린다는 비유다. 필연성 없는 개념을 배제하려 한 인색함의 원리라고도 불리는 이 명제는 현대에도 과학이론을 구성하는 기분적 지침으로 지지받고 있다.
귀납효과 (The induction effect) : 기계학습에는 예술적 창의력도 작용한다. 부분적으로는 인간의 비공식적 창의력에 의해서 설계된 전략이 컴퓨터 프로그램으로 구현되면서 새로운 사례들에 대해 우수한 효과를 나타내는 예측 모델을 개발할수 있도록 도와주었다.
(242) 거시적 리스크를 예측하는 것은 마이크로 리스크 예측을 훨씬 뛰어넘는 엄청나게 어려운 일이다. (중략) 이 경우에는 예측 분석이 학습의 대상으로 삼을 수 있는 블랙 스완 사건들이 풍부하게 포함된 훈련용 데이터 세트는 존재하지 않기때문이다. 삶에서 드물게 발생하는 일이야 말로 가장 예측하기 힘든 것이다.
5장 앙상블 효과
(270-1) 과잉학습 없는 학습을 추구하기 위해서는 균형을 유지해야 한다는 것을 보았다. 더 정확하게 예측하기 위해 예측모델을 더 복잡하게 만들면 안된다. (중략) 그런데 앙상블은 점점 더 복잡해져도 지나치게 민감하게 반응하지 않는 강건함(robust) 를 유지한다. (중략) 존은 이러한 명백한 역설을 '복잡성' 에 대한 재정의를 통해서 해결하였다. 그는 '형식이 아닌 기능을 통해서' 복잡성을 측정하였다. 존은 앙상블 모델이 복잡해 보이지만 과연 더 복잡하게 작동하냐고 물었다. 그는한 모델의 복잡성 (얼마나 큰지 또는 얼마나 많은 구성요소들을 포함하고 있는지) 등을 고려하기 보다는 '전반적인 모델링 방법론의 복잡성'을 측정하고자 하였다. 그는 일반화된 자유도(generalized degrees of freedom) 이라는 척도를 사용하였다. 이 척도는 하나의 모델링 방법론이 얼마나 적응적인지, 즉 훈련용 데이터에 작은 실험적 변화를 주었을 때 그 모델링 방법론에 따라 산출된 예측이 얼마나 많이 변화하는지를 보여준다. 만약 훈련용 데이터에 작은 변화를 주었을 때예측 결과에서 큰 차이가 난다면 이 학습방법은 취약한 것이며 무작위성의 변덕, 그리고 어느 데이터 세트에서도 찾아볼수 있는 잡음으로부터 영향을 받는 다는 것을 의미한다. 이러한 척도를 적용한 결과 개별 모델들보다 앙상블 모델의 복잡성이 더 적다는 것을 보여주었다. 이러한 측면에서 볼 떄 앙상블 모델은 '덜' 복잡한 행동을 보여준다. 따라서 앙상블 모델이 과잉학습하지 않으면서도 건강하게 학습할 수 있다는 장점은 전혀 역설적이지 않은 것이다.
앙상블 효과를 이해하라. 단순하게 여러 모델들을 함께 합치기만 하면 모델의 '구조적 복잡성'은 높아지되 관건적 요소인과잉학습에 대한 강건함은 유지하는 이점을 얻게 된다.
6장 인간을 이긴 기계학습
(308-10) 남은 희망은 단 하나밖에 없다. 연구원들의 반복적인 조정을 시스템적으로 자동화하여 즉 '학습' 프로세스를통해서 폭발적으로 확장할 수 있도록 하는 것이다. 사실 이것이야말로 이 책의 주제이기도 하다. 예측 분석을 질의 응답에 적용하는 것은 우리가 이 책에서 논의하였던 대부분의 사례들과는 약간 다르다. 이제까지의 사례들은 한 사람에 대해알고 있는 정보에 근거하여 예측 모델이 그 사람이 취할 행동들을 예측하는 것이었다. 예를 들면 '어떤 것을 클릭한 것인지, 구매할 것인지, 거짓말을 할 가능성은 얼마인지, 사망할 가능성이 있는지 ' 따위다. 왓슨은 인간참여자들의 제퍼디의질문/답 짝이 정확하다고 판단할 것인지를 예측하는 모델들을 가지고 있다. (중략) 질문에 답하는 것은 일반적인 의미의예측이 아니다. 그 대신 왓슨의 모델들은 대답의 정확성을 '예측' 한다. 동일한 핵심 모델링 방법론이 적용되지만 다른 예측 모델링 응용과 다른 점은 '예측되는' 미지의 사물을 미래에 실제로 목격하였을 때만 확실히 알게 되는 것이 아니라 이미 누군가는 그것이 무엇인지 알고 있다는 점이다.
(328) 왓슨은 후보 답안을 수집하고 나서 다시 각 후보 답안들의 증거를 수집한다. 그리고 나면 왓슨의 앙상블 모델은 각후보 답안에 신뢰도 수준에 따라 점수를 매기고 이에 근거하여 여러 후보 답안들 사이에서 상대적 순위를 정한다. 그러면왓슨은 가장 높은 신뢰도 점수를 받은 답안을 선택하여 큰 소리로 답을 말한다.
7장 숫자를 통한 설득
(368-370) 우리가 이 책에서 다루었던 모든 모델들과 마찬가지로 영향력 예측 모델 역시 한 개인의 특징들을 입력값으로하여 예측 점수를 출력값으로 산출한다. 그러나 영향력 예측 모델에는 특별한 부분도 존재한다.
공개적인 행위를 예측하는 대신에 '한 개인이 어떤 영향을 받아 행동에 옮길 가능성이 얼마나 되는지에 점수를 매기는 모델', 즉 향상(uplift) 모델이 필요한 것이다.
향상점수는 '이러한 조치가 또 다른 조치와 비교할 때 우리가 원하는 결과를 발생시킬 가능성이 얼마나 더 많은가' 라는질문에 대답한다.
[참고]향상모델 : 어떤 조치를 실행했을 경우와 그렇지 않은 경우를 비교하여 그러한 조치가 한 개인의 행위에 얼마나 영향을 미칠 것인지 예측하는 모델. 4장에서의 예측 모델의 향상도(lift)와 헷갈려서는 안됨. lift는 타깃팅하여 선별하는 것이기존에 무작위로 선별하는 것보다 얼마나 더 효과적인가를 표현하는 개념인 반면에, uplift는 조치대상 집단이 그렇지 않은 집단에 비해 얼마나 더 반응할 것인가를 표현하는 개념
(371) 반응률은 얼마나 많은 사람이 (설사 접촉하지 않아더라도) 어찌되었든 구매했을 것인지를 간과한다. (중략) 의료분야와 마찬가지로 마케팅이 성공하였는지 또는 실패하였는지 여부는 특정한 마케팅 조치로부터 격리된 (의료분야의 경우는 위약투여) 개인들의 그룹, 즉 통제집단과의 비교를 통해 드러난다. 따라서 우리는 두 종류의 데이터 집합을 수집해야한다
=> 의학통계에서는 너무나도 당연한 개념이 이 분야에서는 당연하지 않았다는 게 좀 신기했음. 결국 과학적 사고라는 것은 하나의 분야에서 제대로 훈련 받으면 다른 분야 어디에서든 응용이 가능한 것이라는 생각이 들었던 대목.
(373-4) 표준적인 반응모델링
표준적 반응모델링은 다음과 같은 질문에 대해서 예측을 한다.
1. 그 고객을 접촉한 후 그는 구매할 것인가?
향상 모델링은 이 문장에서 한 단어만 바꿈으로써 모든 것을 바꾸어 놓는다.
2. 그 고객을 접촉'해야지만' 그는 구매할 것인가?
이것은 '그 고객을 접촉하는 것이 그로 하여금 구매하도록 영향을 줄 것인가?' 라고 묻는 것과 같은 질문
(376) 반응향상모델링
설득가능 대상들을 구별하는 법을 학습하기 위해 향상모델링은 접촉한 고객들과 그렇지 않은 고객들로 구별된 두 집단에대해서 모두 학습한다.
2개의 데이터집합을 처리하는 것은 수십년 동안의 예측 모델링 및 기계학습 연구로부터 상당히 진전한, 커다란 패러다임의 변화를 의미한다. 기존의 방식은 거의 전적으로 하나의 데이터 집합에 대한 모델링 프로세스를 미세 조정하는데 초점이 맞춰져 있었다. (중략)
(379-81) 그들의 시스템은 설득 가능한 고객들이 분명하게 드러나는 마케팅 하위그룹들을 찾아낼 수 있었다. (중략) 이렇게 찾아진 하위그룹은 일반적으로 통칭하는 마케팅 하위그룹이 아니었다. 이들은 구매할 가능성이 더 높은 고개들이 아니었다. 그렇다고 구매할 가능성이 더 낮은 고객들도 아니었다. 이들은 '마케팅 접촉에 의해서 영향받을 가능성이 더 많은' 고객들이었다. 마케팅으로 인해서 이 하위그룹에서 발생하는 차이는 오직 조치집단과 통제집단의 구매율 차이를 살펴봄으로써만 계산될 수 있다. (두 개의 데이터 집합을 동시에 분석하는 것보다 좀 더 단순한 대안은 1장에서 설명한 온라인 광고 선별에 대한 사례연구처럼 각각의 조치에 대해서 별도의 예측 모델을 만드는 것이다. 유에스뱅크의 마이클은 더단순한 방법론을 적용한 결과, 의사결정 나무에 근거한 접근 방식이 향상 모델링에 더 강력하고 일관된 결과를 제공한다고 결론지었다) 우편 홍보물은 접촉하지 않은 사람들로 구성된 하위그룹보다 접촉한 사람들로 구성된 하위그룹으로부터 더 많은 반응을 이끌어 냈다. 그들을 규정하는 특징을 자동으로 도출해 냄으로써 향상 모델링은 결국 우편홍보물 캠페인이 성공할 수 있는 고객 그룹을 발견해 낸 것이다. 이러한 하위그룹들을 발견하는 향상모델링 방법론은 의사결정나무의 확장판으로 향상나무(uplift trees) 라고 부른다. 일반적인 의사결정 나무는 많은 반응 혹은 적은 반응등 반응률이 극단적인 하위그룹을 식별하기 위해 고안된 것이다. 향상나무는 변수들을 사용하여 기술적으로는 의사결정 나무와 동일한 방식으로 '세분화' 하지만, 특정한 조치가 극단적인 변화를 이끌어내는 하위그룹들, 다시 말해 특별히 설득 가능한하위그룹들을 찾아낸다. 향상 나무는 위에서 언급한 것과 같은 여러 하위그룹들을 포함한다.
(382) 확실한 고객과 접촉불가 고객을 제외함으로써 "향상 모델링은 전체 타기팅 대상의 100% 보다 적게 접촉하면서도100% 보다 많은 반응을 거둘 수 있는 힘을 갖게 해준다"
(382) 설득효과
향상 모델링은 과거에는 분리되어 있었던 두 개의 익숙한 패러다임을 새롭게 결합함으로써 눈으로 인지할 수 없는 영향력을 정복할 수 있었다
1. 조치집단 결과와 통제집단의 결과에 대한 비교
2. 예측 모델링(기계학습, 통계적 회귀분석 등)
이러한 두가지 실천적 방법을 영리하게 결합함으로써 각 개인에 대한 설득을 예측할 수 있는 새로운 능력이 가능하게되었다. 나는 이를 설득효과(persuasion effect) 라고 부른다.
[참고] 설득효과 : 비록 눈으로 인지할 수 없지만 한 개인에 대한 설득은 향상 모델링을 통해서 예측될 수 있다. 향상 모델링이란 경쟁하는 2개의 조치들로부터 발생한 결과들을 기록한 서로 다른 훈련용 데이터 집합들을 예측을 목적으로 모델링 하는 것이다.
=> 그런데 이 향상모델링은 임상연구에서는 너무나도 당연하고, 익숙한 생각들 아닐까?