원서 자체가 발간된지 좀 된 책이고 (2008) 번역이 약간 걸리는 부분들이 좀 있다. 개론서 역할로 훑어 보고 좀 더 구체적인 내용을 원한다면 보건의료연구원의 체계적 문헌고찰 매뉴얼을 보는 것도 좋겠다고 생각된다.
특히나 각장의 맨 마지막 요점 부분은 정리가 잘 되어있고 7장 결론 부분의 내용이 깔끔하게 잘 되어 있다.
결정적으로 이책은 절판되었다. 나도 올해 초에 중고로 구한 책.
[1장 서론]
(13) 체계적 문헌고찰에 관한 오해와 진실
메타분석은 생의학적 연구로부터 시작한 것이 아니라 초기에 사회과학과 행동과학 연구로부터 발달되었다
무작위 대조군 임상요구만 포함하는 것은 아니다 ex) 진단검사의 정확성과 검사의 예측정확성에 대한 고찰
메타분석은 두 개의 연구로도 가능하다
메타분석이 원 연구의 질을 향상시키지는 않는다 - Garbage in Garbage out
(32) 사회보장분야의 중재에 관한 연구결과를 합성하는 기관
의학분야의 cochrane collaboration 과 비슷
추천도서 - cochrane handbook for systematic reviews of interventions
[2장 주제선정 및 연구계획서 개발]
# 결과변수
(51) 불행히도 많은 연구에서 결과변수의 타당도에 대해 관심을 기울이지 않고 있으며 분석가 또한 타당도를 잘 모른채로 남겨진다. 따라서 문헌고찰자는 미리 어떤 종류의 결과변수를 받아들일지 결정해야 한다
ex) 불법사용약물에 대한 자기보고형 도구를 사용하면 치명적으로 과소평가 될 수 있다. 따라서 약물검사결과를 이용하고, 생물학적 측정과의 타당도가 확인된 자기보고형 도구만을 수용해야 한다.
결과변수 측정시기 또한 고려. 중재 후 즉각적인 결과 측정은 효과가 얼마나 지속되는지에 대해 우리에게 정보를 제공해주지 못한다.
# 인과성 추론을 확인하기 위한 목적으로 사용하는 연구설계
(53) propensity score matching
Heckman selection model
Difference in difference
regression discontinuity (회귀불연속)
interrupted time series (절단시계열)
# (54) 역사대조군을 이용한 연구는 현재의 대조군을 이용한 연구에 비해 근거가 약할 수 있다. 두 집단간에 최근의 사건이나 정책변화로 인한 차이가 있을 수 있기 때문이다.
결과에 영향을 줄 수 있을 것으로 생각되는 집단 내 대상자의 특성을 짝짓기한 연구가 근거 수준이 높다.
[3장 연구의 위치확인과 스크리닝]
[4장 자료 추출과 연구의 질 평가]
# 연구의 질평가
연구설계, 선택편향(집단 구성의 차이), 수행편향(중재와는 별개로 집단에 제공되는 case의 체계적인 차이 예를 들어 치료의 오염), 탈락편향, 발견편향(결과 평가에 있어서 체계적인 차이 예를 들어 눈가림이 안된 상태에서의 평가) 등 평가
# 연구의 질 평가도구의 문제점
(88-9) 복합척도는 표본크기, 신뢰도, 추적기간 등 다양한 연구설계의 측면을 통합한다. 이러한 특성은 편향과 관련이 있는 반면 이런 편향이 유사하거나 상반된 방향으로 작용한다. 서로 다른 유형의 편형과 관련된 '연구의 질'을 합성함으로써 편향을 일관성 있게 측정하지 못한다.
(중략) 사과와 오렌지의 문제로 연구설계 질을 분리하고 잠재적 효과를 개별적으로 확인해야 한다.
(중략) 43개의 서로다른 질평가도구를 이용하여 65개의 메타분석에 사용된 연구의 질 점수를 구하였다. 어느 질점수도 신뢰성있게 연구질이 우수한 집단과 그렇지 못한 집단으로 구분해내지 못했다. 따라서 '질 점수에 의미를 부여하는 것은' 실수 라고 결론을 내렸으며 메타분석에서 전반적인 질도구를 이용하는 것은 지양해야 한다.
방법론자와 메타분석가 사이에 연구의 질은 총점이 아닌 개별적으로 평가되어야 한다는 점에서 합의를 보고 있다.
(중략) 어떤 방법론적 질이 중요하고 이것이 결과에 얼마나 영향을 주는지는 주제와 질문 영역에 따라 달라진다.
# 코딩의 신뢰성
(91) 코딩의 신뢰도를 평가하는 방법은 다양하다. 코딩자간의 일치율을 주로 보고하는데 이것보다는 우연에 의한 일치율을 보정한 코헨의 카파 (범주형 범수) 또는 급내상관계수(연속형범수) 가 더 적절하다.
일반적으로 합의를 보기전의 일치율을 보고.
(193) 급내상관계수(ICC, Interclass correlation coefficient)
연속변수의 신뢰도 지표. 분산분석을 이용하여 연구자로 하여금 서로 다른 출처의 변이크기를 평가할수 있도록 도와준다.
관심있는 변수의 분산 / (관심있는 변수의 분산과 오류의 합)
[5장 효과크기와 자료합성방법]
표본자료에 근거하여 관심 집단으로부터 전체 표본의 95%에서 모집단을 포함하는 신뢰구간을 계산할 수 있다.
효과크기는 비율, 평균, 상관관게의 3가지 지표를 사용하여 측정한다.
# (98) 이분형 변수의 보고
1) 오즈비
오즈비는 상대위험비보다 더 큰 (작은) 수를 나타내기 ？？문에 이러한 오해는 독자들로 하여금 큰 효과를 과대평가하거나 작은 효과를 과소평가하게 만든다
통계적 특징 ？？문에 로그 오즈비를 사용. 0 주위에 분포하고 대체적으로 정규분포를 갖는다.
2) 위험비 Relative Risk
3) Risk difference 혹은 Absolute risk reduction - 비율에 민감하지 못하다 예를 들어서 52%에서 50%로 감소나 4%에서 2% 로의 감소나 0.02로 동일
NNT 는 1/ARR
# (103) 연속변수의 효과크기
두 집단의 비교 - 표준화 평균차이
단일군 - Unstandardized mean gain score
상관계수 - 두 개의 연속형 변수간 관계의 방향과 강도. R값은 종종 통계적 특성이 더 좋은 Fisher의 Zr 형태로 전환
# (110) 효과크기의 해석
효과크기 매트릭스 - 작은효과 - 중간효과 - 큰효과
오즈비 1.5 2.5 4.3
표준화평균차이 0.2 0.5 0.8
상관계수 0.1 0.25 0.4
# 효과크기의 이질성
(122) 연구들간에 표집오차 결과의 차이가 있는가 (동일한 모집단으로부터 다른 표본 사이에 발견하기를 기대하는 이질성의 수준? ) 혹은 표집오차 만으로는 설명할 수 없는 추가적인 변이가 있는가? 이 질문에 틀을 잡기 위한 다른 방식은 이렇다. : 단일 모집단 효과 추정값을 제공하는 우리의 모든 표본이, 그들 간의 변이가 완전히 우연 때문인가?또는 연구, 표본, 처치 특성 때문에 생길 수 있는 연구효과크기 간에 체계적 차이가 있는가?
이질성 검정에서 카이스퀘어 검정값의 자유도는 연구수-1 이고 유의도가 0.05 보다 낮으면 이질적이라고 볼수 있다.
아이스퀘어 값은 효과추정의 변이 % 를 나타내는 것으로 이는 표집오차(기회) 가 아니라 이질성 때문이다. 50%를 넘는 값은 상당히 고려할 만하다. 즉, 표집오차에 의해 설명되지 않는 결과 측정에 있어서 연구들 간에 상당한 차이가 있다.
# (123) 메타분석에서 이질성을 다루는 방법
무작위 효과모형.
분석에 충분한 연구가 있다면 일질성에 대한 가능한 자료를 탐색하기 위해 중재적 분석 사용
전체 효과추정값 없이 포레스트 플롯을 보여주는 방법.
연구계획서 단계에서 처치, 표본, 설계, 세팅과 결과측정에 대한 특정한 변이를 어떻게 다룰 것인지 고려해야만 한다.
중재에 대한 전체 효과분석을 계획한 후 연구자들이 결합하기엔 너무 이질적이라는 사후결정을 내리는 것은 비논리적. 만일 연구들이 메타분석에 결합하기
에 너무 이질적이라면 왜 초기에 검토에 포함되었는가?
# (124) 고정효과모형과 무작위효과모형
[고정효과모형]
모든 연구들은 동일한 모집단으로부터 도출되었으며 하나의 참 효과크기추정값을 생성한다는 가정에 근거
모든 연구에서 효과크기에 영향을 미치는 모든 요소들은 동일하다고 가정.
연구간 변이는 표본추출오차만 기인한 것으로 여겨지거나 무시됨
가중치는 연구내 변이(연구내 분산에 근거하여 각 연구에 대한 가중치를 부여하는 역분산방법을 사용. 더 정확한 연구추정값이 더 높은 가중치를 받기 위해) 에 근거해서 할당
[무작위효과모형]
참효과는 표본과 연구에 걸쳐 다양하다는 가정에 근거
효과는 클수도, 적을수도 있고 연령, 건강, 치료 기간, 강도, 설계 등에 따라 영향받는다.
연구들은 관계있는 효과분포의 무작위표본으로 가정되며 결합된 효과는 참효과 분포의 평균을 ？？어한다.
무작위효과모형의 평균효과는 연구내 표집오차 뿐만 아니라 연구간 변이에 영향받는다.
가중치는 분산자료에 근거해 부여된다. (연구 역분산과 연구간분산측정)
√ 고정효과모형과 비교했을 때 무작위효과모형은 더 많은 변이자료를 취한다
결과, 평균효과에 대하여 신뢰구간은 고정효과모형보다 무작위효과모형 하에서 더 넓다. 그렇지만 유의한 이질성이 없다면 고정효과모형과 무작위효과모형은 유사한 결과를 갖는다.
대규모 연구들은 참효과의 더 정확한 추정값을 제공하기 때문에 고정효과 모형에서 전체 효과에 대하여 더 많은 영향력을 갖는다.
반면에 다른 연구들에 할당된 가중치는 무작위효과모형에서 더 균형적이다. 왜냐하면 무작위 효과모형은 개별연구의 다른 효과크기를 추정하고 참 효과분포를 추정하기 때문이다.
고정효과모형의 결과는 더 폭이 좁은 정교한 모집단에서 일반화한다. 무작위 효과모형의 한가지 목적은 모집단 범위에서 일반화되는 결과를 생성하는 것이다.
(125) 모형의 선택은 미리 행해져야 한다. 만일 메타분석에서 연구들이 단일 모집단 효과크기 추정을 생성할 것이라 믿는다면 고정효과모형이 적절하다. 많이 우리가 표본특성, 중재 , 비교 상태의 관점에서 다양한 연구를 포함한다면 그리고 이런 특성의 일부 또는 전부가 중요하다고 생각한다면 고정 효과 모형의 가정은 지지할 수 없으며 무작위 효과모형이 더 나은 선택이다.
(126) 어떤 고찰자들은 너무 이질적이어서 메타분석에서 결합할 수 없었던 연구를 비난한다. 무작위 효과모형은 이질적 효과를 가진 메타분석에 더 잘 맞기 때문에 이것은 납득이 되지 않는다.
[6장 편향과 효과변동의 평가]
퍼넬플롯에서 비대칭성이 출판편향에 의해서만 나타나는 것은 아니다. 소규모 연구에서 연구설계와 분석방법이 덜 엄격하거나 대규모 연구에 비해 처치가 더 크게 주어질 때 효과크기가 더 크게 나타날 수 있다. 따라서 퍼넬플롯은 보다 작은 규모의 연구에서 효과크기가 더 크게 나타나는지를 검정하는 도구로도 사용된다.
# (137) 조정변수분석
조정변수 분석은 평균효과에 대한 하위집단과 조정변수의 영향간의 차이에 대한 직접 검정을 제공
하위집단 분석을 할 때 조정변수 분석은 메타분석에서 미리 계획되고 중심질문이 제한되어야 한다.
조정변수분석은 합쳐진 효과에서 이질성의 가능한 출처를 발견하는데 사용될 수 있다. 이는 포레스트 플롯에서 실제적이 이질성이 있는지에 무관하게 사용될 수 있다.
조정변수분석은 본질적으로 관찰적(비실험적)탐색이다. 연구들은 조정변수에 무작위배정되지 않는다. 조정변수분석은 인과적 추론을 지지하지 않으며 오히려 이질성과 감별효과에 대한 잠재적인 출처에 대한 가설을 생성한다.
각 연구에 대해서 최소한 10개의 연구와 1개 이상의 유의한 연구가 있어야 시행될 수 있다.
∎ 유사분산분석 (Analog to the ANOVA)
조정변수는 범주형 범수. 평균효과는 각 범주별로 계산되고 유의성 검정은 집단간의 차이를 평가하기 위해 사용
ex) RCT 는 NON-RCT 연구결과와 다른지, 소아와 영아간의 치료효과가 다른지, 장단기 치료 효과가 다른지
(141) 조정변수분석의 결과를 과장해서 해석할 수도 있지만 고용에 대한 초점과 구직보조가 다른 전략들보다 더큰 효과를 나타낸다는 결론을 내리지 않아야 한다. 이러한 것들은 비실험적이고 관련성은 의심스럽다. 조정변수들과 관련이 있는 다른 요인들은 하위집단들 간의 관찰된 차이에 따른 것일수도 있다.
∎ 메타회귀
1개 이상의 연속형 조정변수가 있을 때
한개의 종속변수(효과크기)에 연속적 독립변수들(조정변수). 분석의 단위가 연구.
메타회귀로부터 인과적인 결론을 끌어낼 수 없다.
# 민감도 분석
(143) 민감도 분석은 하위집단 분석과 동일하지 않다.
목적 : 연구 포함 제외기준이 서로 다른 가정하에서 결과가 일관성이 있는지 확인
연구의 포함/제외의 기준이 변함에 (특정 연구가 넣고 빠지고에 )따라 영향을 받는지 결정하는데 사용
종합적 결과에 결측자료의 잠정적인 영향을 탐색하기 위해서도 사용.
(195) 연구결과가 서로 다른 가정 하에서도 일관성 있게 나타나는지를 확인하기 위해 2개 이상의 모형을 비교하는 것. 흔히 분석과정 중에 사용한 의사결정의 효과를 평가하기 위해 사용.
[7장 결론]
(150) 메타분석의 결과
많은 사람들이 메타분석의 핵심은 포레스트 플롯에 제시된 다이아몬드로 나타낸다고 생각한다. 그러나 메타분석의 핵심은 이용가능한 근거의 질과, 가능한 편향에 대한 토의로부터 시작하고 이후에 연구 간 효과의 이질성, 평균효과와 신뢰구간을 기술한다고 하는 것이 좀더 타당하다. 근거의 질이 약하고 이질성이 크고 신뢰구간이 효과없을을 의미하는 점수를 포함하고 있는 경우라면 평균효과의 방향과 크기는 의미가 없기 때문.
# 근거의 질
(150) GRADE 는 출판 또는 소표본 편항에 대한 판단을 구체적으로 고려하지는 않는다.
# 결과의 이질성
(151) 사회사업중재가 표본이나 현장에 따라 동질한 효과를 가질 것을 기대하기는 매우 어렵다.
문헌고찰에서 가능한 조정변수 분석을 할 수 있을지는 분석에 포함된 연구의 수와 통계적 검정력에 따라 다르다. 불행히도 잘 수행된 1차연구가 부족하여 대부분의 문헌고찰에서는 불가능.
문헌고찰자가 조정변수 분석을 이용하여 이질성의 출처를 파악할 수 있을 때 그결과는 관찰적이고 일시적이며 인과성 추론을 지지하지는 않는다. 하지만 이러한 결과는 가능한 조정변수에 대한 연구를 포함하여 미래 연구의 방향을 제시해 줄 수 있다.
# 신뢰구간
(151) 신뢰구간이 효과없음을 의미하는 선을 가로지르고 있다면 연구결과는 통계적으로 유의미하지 않음을 의미하며 "평균효과는 0과 통계적으로 유의한 차이가 있다고 말할 근거가 없다" 라고 표현한다.
그러나 이 부분이 잘못 해석되기도 하는데 효과가 있다는 근거가 없다는 것은 효과가 없다는 근거가 있다는 것과 동일하지 않다.
다시 말해 귀무가설을 기각하지 못하는 즉 차이가 없다는 결과 (Null result) 는 '효과가 없다' 는 것을 증명하는 것이 아니다.
그리고 통계적 검정력이 부족( 연구가 너무 부족하거나 이질성이 너무 큰경우) 하여 귀무가설을 기각하지 못하는 경우도 있을 수 있다.
(152) 차이가 없다는 결과를 해석할 때는 1차연구에 대한 가정적 상황의 특성을 고려해야 한다. 만약 비교군으로 통상적 중재를 받는 군을 대상으로 하였다가 중재가 '효과없음' 이라고 결론을 내리는 것은 적절하지 않다. 이 경우 "우리가 관심을 가지고 있는 중재는 다른 중재에 비해 좀 더 (또는 덜) 효과가 있다" 는 근거가 없다고 결론을 내리는 것이 적절.
# 메타분석을 하지 않은 경우
(153) 이질성이 너무 커서 메타분석을 하지 않은 경우 서술적 합성과 같은 덜 엄격한 방법으로 연구를 병합하는 것은 바르지 않다
전체적인 효과에 대한 결론도출을 피허거나, 빈도를 세어 결론을 도출
[부록]
부록 C 체계적 문헌고찰과 메타분석 보고서 작성을 읽어보면 SR과 메타분석이 어떤 식으로 이뤄지는지 대략적 틀을 잡을 수 있다.
다음글 :
[한의사의 서재#72] 근거중심의 진단평가 - 최악의 번역서 
이전글 :
너와 나 99%의 미래 협동조합
