인터넷서점 인터파크도서

1954년에 발간된 책이라 그런지 생각보다는 새로운 내용은 없다. 그 당시만 해도 통계 기법이랄 게 별로 없었는지..기거렌쳐나 벤 골드에이커 책 들의 원류가 되는 내용들이라고 생각된다. 그 둘은 훨씬 나중에 쓴 책들이니까. 거기서 나온 내용들이랑 비슷한 내용들이 좀 있다.

연구에 필요한 통계적 기법이나 이런 것에 대한 얘기 보다는 신문이나 뉴스에 나오는 숫자를 어떻게 읽어야 하나에 대해서 생각할 거리를 주는 책 그런 방면에서는 재미있게 읽을 수 있다.

이 사례는 또 어떤 트릭이 존재할까 예측해보는 재미는 쏠쏠한 책. 생각 못했던 방식으로 사기치는 내용도 있고 어쨌든 이 책이 1950년대에 발간된 책이라는 걸 염두에 두고 읽어야 여기서 제시된 사례들이 이해가 간다.

이 책이랑 같이 ‘제약회사들은 어떻게 우리 주머니를 털었나’를 구매했는데 그 책에서는 아마도 의학분야에서의 통계적 장난에 대한 이야기들이 좀 더 많을 것 같다.

한의학 이론에 대해서 통찰을 주는 구절이 하나 있다

(138) 애매모호한 통계적 처리를 받아들이거나 숫자나 소수점의 최면효과를 이용해서 엉터리로 인과관계를 꾸며내는 행위는 미신숭배와 다르지 않다

뉴 헤브리디즈 섬 주민들이 자신의 몸에 기생하는 이가 건강을 가져다 준다는 믿음과 하나도 다르지 않다. 지난 수백년 동안의 오랜 관찰의 결과 그들은 건강한 사람에게는 이가 많지만 아픈 사람에게는 종종 나타나지 않는 다는 것을 알게 되었다.

오랜 세월에 걸쳐 이루어진 관찰들은 때때로 놀랄만큼 정확한 것들이 많으며 사실 이 관찰 자체도 매우 정확하고 타당한 것이다. 그러나 뉴 헤브리디즈 섬의 원주민들이 이끌어낸 결론, 즉 이는 건강에 좋으니 몸에 많이 지녀야 한다는 결론에는 동의할 수 없다.

이로 인해 발생되는 열병으로 체온이 올라가면 이가 살기에 좋은 조건이 못되서 이가 환자 몸을 떠나게 된다. 원인 결과가 뒤엉켜 왜곡된 것.

⇒ 한의 임상에서 이루어지는 많은 관찰들, 한의서에 쓰여있는 치료 기록들은 놀랄만큼 정확하고 타당한 것이 많다. 하지만 그렇다고 해서 그 한의서를 관통하고 있는 이론들이 정확하다는 뜻은 절대로 아니다.

그리고 연구자들이 항상 마음에 담아 두어야 하는 구절 그리고 통계는 새빨간 거짓말이라고 이 책과 똑같던 말을 했던 한 친구에게 해주고 싶은 말

(165) 학문적인 연구를 하는 학자도 – 본인은 의식하지 못할 수도 있지만 - 자신의 가치 판단과 나름대로의 생각이란 것이 있어 자신의 이해에 무관심할 수는 없다. 그러므로 신문이나 잡지, 책자 등에 나타나는 통계자료를 그냥 받아들이지 말고 한번 더 자세히 검토해 볼 필요가 있다.

그렇다고 무턱대고 통계적인 방법을 거부하는 것도 문제이다. 마치 신문기사에 때때로 사실을 감추는 것이 있으니 무턱대고 신문을 읽어서는 안된다고 주장하는 것과 같다.

만약에 정말 이 책을 읽고나서 논문에 나온 통계가 새빨간 거짓말이라고 말을 한거라면, 그거야 말로 정말 새빨간 거짓말이다. 이 책에는 의학 논문 통계를 다룬 책이 아니니까!!

우리의 문제는 무지가 아니라 잘못 알고 있다는 사실에서 비롯된다 (아르테머스 워드)

[1장 언제나 의심스러운 여론조사]

(18) 잡지의 구독여부를 조사하면 항상 지식인 잡지를 대중 통속잡지보다 더 많이 읽는 다고 대답한다.

(22) 통계에 있어서 가장 중요한 것은 표본을 근거로 어떤 결론을 내릴 때 표본이 모집단 전체를 대표하는 것이라야 한다는 것이다. 즉 왜곡의 원인이 되는 모든 것을 제거하고 난 표본이라야 한다는 것이다. 그래서 신문잡지에 실리는 상당수의 것들이 본래의 의미를 상실한 아무 의미가 없는 쓰레기 숫자들이다.

(31-2) 질문자에 따른 왜곡된 결론

누가 인터뷰를 하느냐에 따라 결과는 미묘한 차이를 나타낸다

2차 세계대전 중 미국 남부 어느 도시의 흑인 500명을 대상으로 두 조사단을 보내 인터뷰를 했다. 두 조사단 중의 한쪽은 백인으로만 한쪽은 흑인들로만 구성되어 다음과 같은 질문을 하였다

"만약 일본군이 미군을 점령한다면 흑인에 대한 차별은 지금보다 더 하겠는가 덜하겠는가?"

흑인 조사단의 결과는 9%는 차별이 덜할 것이다 25%는 차별이 심해질 것이다

백인 조사단의 결과는 2%는 차별이 덜할 것이다 45%는 차별이 심해질 것이라고 대답

일본군을 나치로 바꿔도 마찬가지.

앞의 두 질문을 기반으로 다음과 같은 질문

"일본, 독일, 이탈리아 동맹국의 전쟁에 국력을 집중하는 것과 국내에서의 민주주의 실현을 위해 집중하는 것 어느 쪽이 더 중요한가?"

흑인조사단의 결과는 39%가 동맹국 타도

백인조사단의 결과는 62%가 동맹국 타도

이와 같은 결과는 피면접자가 항상 면접자의 호감을 사는 응답을 하려는 경향이 있기 때문에 생기는 왜곡

이런 경향은 여론조사 결과 해석시 항상 염두에 둬야 한다.

더구나 전시에 국가에 대한 충성심 유무에 관련된 질문을 백인조사자가 한다면 남부 흑인들은 당연히 실제로 자기가 느끼는 솔직한 감정보다는

백인의 마음에 드는 응답을 하게 마련.

(34) 길거리에 여론 조사를 나갔는데 두사람이 적합해 보이는데 한사람은 말쑥하고 한사람은 행색이 지저분하다면 조사원은 말쑥한 사람에게 물어볼 것이다. (중략) 여론 조사에 대해서 가장 강력히 반대하는 사람들 중에는 자유주의자와 좌익들이 많은데 그들은 대부분의 여론조사가 속임수에 의해 조작된 것이라고 믿고 있다. (중략) 여론조사는 속임수까지 쓰면서 억지로 조작할 필요는 없었던 것이다. 표본 그 자체가 어느 한방향으로 기울어져 버리는 경향이 있기 때문에 그 결과가 저절로 왜곡되어 버릴 뿐이다.

[

2장 평균은 하나가 아니다]

(45) 당신이 평균급여라는 이름의 수치를 보았다면 항상 이런 질문부터 해야 한다.

"어떤 종류의 평균값이오? 그 평균값을 계산할 때, 누구까지 포함했나요?"

[5장 사람 눈을 속이는 그래프]

그래프 중간을 절단하고 , 눈금간 간격을 벌리는 것만으로도 그래프 기울기를 극적으로 바꿔서

일정한 수치를 보이는 것을 엄청난 증가, 감소로 보이게 할 수도 있고

반대로 엄청난 증가 감소세를 나타내는 것을 일정하게 보이게 할 수도 있다.

[6장 100문이 불여일견이라고 ? 천만에]

시각적인 이해를 돕기 위해 그래프로 나타내는 경우가 있다.

예를 들어 평균 주급이 30달러와 60달러라고 한다면

돈주머니의 크기를 2배로 그리는 것이다. 하지만 가로, 세로, 높이가 각각 2배가 된다면 부피는 8배나 된다.

그런식으로 숫자는 1:2로 해놓고 실제 부피는 1:8로 해서 차이를 왜곡하는 방법을 사용한다.

[7장 아전인수를 위한 마구잡이 통계]

시험관에서 세균을 죽이는 감기약을 발명했다?

사람의 목에서는 희석을 해야 한다거나, 효과가 있는 세균이 실제 감기와 관련이 있는지는 알수 없다 (심지어 세균이 감기를 일으키는 것도 아니다!!)

흑인도 백인과 동등한 취업기회가 있는가? 라는 질문에서 인종적 편견이 있는 사람일수록 그렇다고 말했고 없는 사람일수록 동등하지 않다고 대답한 경향이 있다. 상황이 악화될수록 여론조사가 호의적인 결과를 낳는다.

(110) 주스를 26%나 더 짜낼 수 있는 주서기? 사실은 손으로 짜는 압착식 강판보다 26%가 많다는 의미

어쩌면 시장에서 가장 형편없는 주서기 일수도

(112) 쾌청한 날에 운전하는 것이 안개낀 날에 운전하는 것보다 위험하다?

물론 절대적인 사망자 숫자는 쾌청한 날이 많을 것이다. 쾌청한 날 숫자가 훨씬 많으니까

하지만 당연히 안개낀 날에 운전하는 것이 1일당 사망자가 더 많다.

작년 한해 비행기 사고 사망자가 1910년대 전체 사망자 수보다 많다. 그러면 오늘날 비행기가 그때보다 더 위험한가?

당연히 지금은 그때보다 연간 비행기 이용자가 수백배 많다.

(114) 78%나 되는 대다수 종업원들은 노동조합을 반대한다?

리커트 척도로 설문조사를 해서 조금이라도 불만이 있는 사람들은 전부다 반대하는 것으로 처리

(116) 기업의 이윤에 대한 거짓말

발표하지 않은 이윤은 감가상각, 특별상각, 비상적립금등의 항목아래 감춰놨다.

연간투자액에 대한 수익은 총 매출실적에 대한 이익과는 전혀 다르다

(117-120) 의학에서의 의미 없는 숫자

유행성 감기와 폐렴에 대한 통계 - 미국 남부 세주에서 전체의 80% 발병. 사실은 다른 주에서는 이미 중단된 이 병에 대한 발생 보고가 이 세주에서만 아직도 의사들이 의무적으로 시행하기 때문.

말라리아에 대한 통계 - 1940년 이전 미국 남부에서 연간 수십만명이 발생했는데 1950년대에는 손에 꼽을 정도.

그 동안 공중보건의 중요한 변화가 일어났나? 실은 그 전에는 남부 대부분의 주에서 말라리아라는 단어가 감기나 몸살을 나타내는 일상용어로 사용

미국 - 스페인 전쟁에서 미 해군의 전사율은 1000명당 9명이고 같은 기간 뉴욕시의 사망률은 1000명당 16명 이라서 미 해군국이 입대가 안전하다고 선전. 하지만 애초에 두 집단은 비교 불가능. 해군은 건강한 청년들이고 뉴욕시민은 아이와 고령자등이 포함.

의학사상 1952년은 소아마비가 대유행한 최악의 해?

실은 그 해에는 취약한 연령대의 아동이 많았으며, 소아마비에 대한 인식이 높아져 경미한 환자도 기록에 남겨지고, 소아마비 기금으로부터의 원조액 증대 같은 재정적 지원 .

하지만 총 사망자 수는 동일. 따라서 어떤 유행병의 발병률을 재는 척도로는 환자수보다는 결과를 나타내는 사망자 수가 좀더 적합하다.

(122) 교사급여가 900달러에서 5230달러로 상승?

전자는 가난한 뉴욕주의 급여, 후자는 부유한 뉴욕시의 급여.

마치 사진광고에서 자주 사용되는 비포 - 애프터 사진과 같은 기법.

[8장 통계도 논리다]

(127) 논리정연하고 그럴듯하게 여러가지 해석을 할 수 있을 때 그중에서 자기의 취향에 알맞은 것만 골라내어 그것만 주장해서는 안된다. 전후관계와 인과관계를 혼동하는 오류 (시간적 발생에 따라 인과관계를 설명하려는 논리적 오류, post hoc fallacy) 를 범하지 않아야 한다

(127-131) 상관관계를 언급할 때에는 각별한 주의를 기울여야 한다

1) 우연히 일어나는 상관관계

원하지 않는 결과가 나오면 기꺼이 없애 버리고 원하는 결과만 골라 발표

특히 표본의 크기가 작을 때에는 당신이 생각하는 어떤 두 사건 또는 어떤 두 특성 사이의 의미 있는 상관관계를 항상 찾아낼 수 있다.

2) 제3의 요인과 상관관계 – 공분산

공분산(co-variation 두변량의 편차들의 곱에 대한 기댓값) 이라고 부르는 것

상관관계가 있다는 것은 명백하지만 어느 것이 원인이고 어느것이 결과인지 분명하게 드러나지 않을 때. 원인과 결과가 서로 뒤바뀌기도 하고 서로가 동시에 원인이 되기도 함

ex) 소득과 주식소유량의 상관관계 – 어느쪽이 원인이고 결과인지 알수 없다

가장 주의를 요하는 상관관계는 어떤 변수도 다른 변수에 대하여 아무 영향이 없지만 두 변수 사이에 분명 어떤 상관관계가 존재하는 경우

ex) 흡연과 성적불량의 관계 – 외향적이거나 놀기좋아하는 성격의 사람들이 흡연도 많이 하고 공부를 덜 했을 수 있다.

ex) 메사추세츠주의 장로교 목사 수입과 하바나 럼주 사이에는 높은 상관관계가 성립한다

물가나 가격수준이 시간이 지나면서 전세계적으로 상승한다는 요인의 영향

3) 상관관계를 뒷받침하는 데이터의 범위를 넘어서까지 그 상관관계가 지속해서 성립할 것이라고 추측하는 일

ex) 어느 일정양 이상의 비가 오면 수확량은 오히려 감소한다.

(137) 나이가 많은 부인일수록 양쪽 발자국 사이의 각도가 커진다?

실상은 나이가 많은 부인들은 팔자걸음을 걸으라고 교육받았고, 어린 여성들은 팔자걸음을 걷지 말라고 교육받았다는 것.

(138) 오늘날 증가 추세에 있는 아무 것만 택해도 둘사이에 양의 상관관계가 있다는 것을 알수 있다.

ex) 대학생숫자와 심장병 환자의수, 네바다 도박장 수익과 정신병원 환자의 수

[9장 통계를 조작하는 법]

ex) (146) 지도로 표현하기

통계적 사실을 있는 그대로 전달하기 위해서는 주의 총 넓이와 나라 전체 넓이의 비가 이들 주의 총 소득과 나라 전체의 국민소득의 비와 비슷한 주를 선택해야 한다

ex) (148) 가정소득

1인당 소득 중앙값이 아닌 ‘평균’값을 구한후 4인가족의 수치를 구하기 위해 4를 곱했다

평균값 자체가 왜곡이 있으며 4인가족이 2인가족 소득의 두배를 벌지는 않는다. 당연히!

ex) (156) 파업으로 인한 손실 왜곡하기

노동자가 파업에 참여하지 않고 정상근무를 하여 제작하는 자동차의 총 대수를 토대로 이를 계산, 자동차 부품 공급자가 입은 손실을 더할 뿐 아니라 자동차가 없기 때문에 지출해야 하는 교통요금과 영업상들이 입은 손실 등등 생각할 수 있는 모든 것을 더한다

ex) (157) 말고기와 토끼고기

햄버거에 말고기를 약간 섞어서 싸게 팔수 있었다

하지만 말고기와 토끼고기의 비율은 1:1 이다. 언제나 말 한마리 대 토끼 한 마리로 섞기 때문이다.

ex) (157) 시간당 평균급여

사장이 시간당 평균급여를 계산했더니 2.25 달러

통상근무 시간급 1.5달러 초과근무 시간급 2.25 달러 특별초과근무 시간급 3달 이므로 평균을 내면 2.25달러.

ex) (159) 백분위수

백분위수가 99인 학생은 틀림없이 90인 학생보다 우수하지만 60인 학생은 40인 학생과 별 차이가 안난다. 정규분포를 따르기 때문.

[10장 통계의 속임수를 피하는 다섯가지 열쇠]

1) (169) 누가 발표했는가 출처를 캐야 한다

고의적 왜곡 – 유리한 데이터만 사용, 측정 단위를 바꾸기, 기준 연도를 유리하게 바꾸기, 부적절한 측정법, 중앙값 대신 산술평균 사용하기

권위있는 이름이 사용되었다면 그 권위자가 그 사실을 실제로 지지하는지 확인할 것.

2)(172) 어떤 방법으로 알게 되었는지 조사방법에 주의할 것

표본의 왜곡 – 1200개 회사에 돌린 설문지중에 14% 만 회수됨

표본은 신뢰할 만할 결론을 얻기에 충분히 큰가

3) (173) 빠진 데이터는 없는지 숨겨진 자료를 찾아볼 것

표본의 크기나 확률오차나 표준편차 등이 빠져 있지 않는가?

4) (178) 내용이 뒤바뀐 것은 아닐지 쟁점 바뀌치기에 주의해야 한다

ex) 뇌염환자수가 3배나 증가하여 자녀를 피난시키는 소동 – 알고 봤더니 보건당국이 진상을 조사하기 위해 이전같으면 그냥 지나쳤거나 뇌염이라고 인정되지 않았을 경미한 증상마저 뇌염으로 기록했다.

ex) 국세청 조사결과 5년전보다 50만호의 농가가 증가하여 귀농풍조를 확인했다

하지만 농가의 정의가 5년사이에 바뀌어 30만호의 새로이 분류된 농가가 발생

ex) 중국 어느 지역 인구가 2800만명에서 1억 으로 증가

앞으 조사는 조세와 징병을 위한 조사, 뒤의 조사는 기아 구제를 위한 조사

ex) 10년전 55-60세 인구조사보다 10년후 65-70세 인구가 더 많아진 것

이민으로는 설명 불가. 이것은 사회보장제도에 의한 연급지급을 받고 싶어 하는 사람들이 자기 나이를 속임

5) (185) 상식적으로 말이 되는 이야기인지 살펴봐라. 석연치 않은 부분은 조사할 것.

ex) 외삽법의 오류 : 1947년과 52년 사이에 TV 보급률이 10000% 로 늘었는데 그 다음 5년간 이추세가 계속되면 한가족당 소유하는 TV는40대나 되게 된다.

written by 근거중심한의약에 적합한 연구방법론과 인프라구축을 고민중인 한방내과전문의 임정태