여러 연구를 한데 모은 논문을 보면 “이제 결론이 확실해진 것 아닐까?”라는 생각이 들 수 있어요. 하지만 체계적 문헌고찰은 흩어진 근거를 정해진 절차로 찾고 정리하는 방법이고, 메타분석은 서로 비교할 수 있는 수치를 통계적으로 합치는 방법입니다. 둘 다 유용하지만, 포함된 연구의 한계까지 없애 주지는 않습니다.
BDSM 관련 연구도 마찬가지예요. 종합 논문의 결론만 읽기보다 어떤 연구를 찾았는지, 서로 얼마나 다른 연구를 묶었는지, 공개되지 않은 결과가 있을 가능성은 없는지까지 함께 봐야 합니다.
렘브란트, 〈서재에서 책을 읽는 젊은 학자〉(1630), 퍼블릭 도메인 · Wikimedia Commons 원본
체계적 문헌고찰과 메타분석은 같은 말이 아니에요
| 방법 | 주로 답하는 질문 | 읽을 때 주의할 점 |
|---|---|---|
| 체계적 문헌고찰 | 정한 기준에 맞는 연구를 어떻게 찾고 평가했는가 | 검색 범위와 포함·제외 기준이 결론의 경계를 만듭니다. |
| 범위 문헌고찰 | 어떤 주제가 얼마나, 어떤 방식으로 연구됐는가 | 연구 지형을 보여 주는 데 강하지만 효과의 크기를 확정하는 분석은 아닙니다. |
| 메타분석 | 비교 가능한 연구의 수치를 합치면 평균 효과가 어느 정도인가 | 서로 다른 정의·표본·측정법을 무리하게 합치면 평균이 오히려 오해를 부를 수 있습니다. |
PRISMA는 체계적 문헌고찰이 검색과 선택 과정을 투명하게 보고하도록 돕는 지침입니다. 체크리스트를 잘 따랐다는 사실은 보고가 충실하다는 뜻이지, 포함된 모든 연구의 질이 높거나 결론이 자동으로 참이라는 보증은 아니에요.
검색식과 포함 기준이 결론의 울타리를 만듭니다
종합 논문을 읽을 때는 초록의 결론보다 방법 절부터 확인하는 편이 좋습니다. 다음 질문이 결론이 적용되는 범위를 보여 줘요.
- 어떤 데이터베이스를 언제까지 검색했나요?
- 영어 논문만 포함했나요, 다른 언어와 학위논문·등록 자료도 찾았나요?
- ‘BDSM’을 어떤 정의와 검색어로 다뤘나요?
- 일반 인구, 커뮤니티 표본, 임상 표본을 구분했나요?
- 상관관계 연구와 장기간 추적 연구를 같은 질문의 답처럼 취급하지 않았나요?
예를 들어 De Neef 연구진의 2019년 체계적 문헌고찰은 BDSM을 생물·심리·사회적 관점에서 폭넓게 정리했고, Brown 연구진의 2020년 범위 문헌고찰은 유병률, 원인 가설, 심리·대인관계 요인의 연구 지형을 살폈습니다. 이런 논문은 분야 전체를 조망하는 출발점이지만, 서로 다른 연구를 개인 한 사람에 대한 예측으로 바꾸지는 못합니다.
평균 하나보다 연구 사이의 차이를 먼저 보세요
‘이질성’은 연구 결과가 서로 다른 정도만을 뜻하지 않아요. 참여자의 특성, 개념의 정의, 조사 기간, 측정 도구처럼 연구 설계가 다른 경우도 포함합니다. 이런 차이가 큰데도 하나의 평균만 제시하면, 그 수치가 어느 집단과 상황에 해당하는지 알기 어려워집니다.
Cochrane Handbook도 효과가 상당히 이질적일 때 단일 평균만으로 결론을 내리면 오해할 수 있다고 설명합니다. 메타분석을 읽을 때는 이질성 지표만 보지 말고, 연구자들이 차이의 원인을 어떻게 설명했는지, 분석 선택을 바꿔도 결론이 유지되는지, 가능하다면 예측구간이 얼마나 넓은지도 확인해야 해요.
교육용 가상 예시: 세 도서관이 ‘독서 완료’를 각각 책 대출, 한 장 읽기, 퀴즈 통과로 정의했다고 해 볼게요. 세 비율을 정확하게 평균 내더라도 같은 행동을 측정한 수치라고 말하기 어렵습니다. 통계 계산의 정확성과 질문의 타당성은 별개의 문제예요.
출판편향은 보이지 않는 자료의 문제예요
흥미롭거나 통계적으로 두드러진 결과가 그렇지 않은 결과보다 더 쉽게 출판되면, 공개된 논문만 모은 결론은 실제보다 한쪽으로 기울 수 있습니다. Cochrane Handbook의 누락 근거 지침은 결과의 방향이나 크기, 통계적 유의성에 따라 자료의 이용 가능성이 달라지는 비보고 편향을 주의하라고 설명합니다.
깔때기 그림이 대칭인지 확인하는 것만으로 문제를 해결할 수도 없어요. 비대칭은 선택적 출판 외에도 작은 연구의 설계 차이, 표본 특성, 분석 방법 등 여러 원인에서 생길 수 있습니다. 그래서 연구 등록 여부, 연구계획서와 최종 보고의 차이, 미출판 자료 검색 여부를 함께 확인해야 합니다. 이 부분은 앞서 다룬 사전등록과 선택적 보고 읽기와도 이어집니다.
종합 결론을 읽는 여섯 칸
- 질문: 대상, 개념, 비교, 결과가 구체적으로 정해졌나요?
- 검색: 검색 기간·데이터베이스·언어·미출판 자료 범위가 충분히 공개됐나요?
- 선택: 포함·제외 이유와 연구 흐름도가 제시됐나요?
- 개별 연구의 질: 표본 편향, 측정 한계, 교란 변수를 평가했나요?
- 종합 방식: 서로 비교할 수 있는 연구만 묶었으며, 이질성과 민감도 분석을 함께 제시했나요?
- 적용 범위: 결론의 확실성과 어떤 사람·상황에 적용할 수 없는지를 밝혔나요?
효과크기와 신뢰구간을 읽는 법은 p값·효과크기·재현성 글에서, 조사 비율의 분모와 표본을 확인하는 법은 BDSM 비율 연구 읽기에서 이어서 볼 수 있어요.
이 글에서 말할 수 있는 범위
체계적 문헌고찰과 메타분석은 근거를 더 투명하게 모으는 도구이지, 개인의 성향을 진단하거나 관계의 안전성과 적합성을 대신 판단하는 도구가 아닙니다. BDSM에 관한 종합 연구를 읽을 때도 결론의 크기보다 먼저 질문, 포함 기준, 연구 사이의 차이, 누락 가능성, 적용 범위를 확인하세요. “많이 모았다”보다 “무엇을 어떤 규칙으로 모았는가”가 신뢰도를 더 잘 설명합니다.
참고 자료
- Page MJ 외. PRISMA 2020 statement. BMJ, 2021.
- Cochrane. Chapter 12: Interpreting results and drawing conclusions.
- Cochrane. Chapter 13: Assessing risk of bias due to missing evidence in a meta-analysis.
- De Neef N 외. BDSM From an Integrative Biopsychosocial Perspective: A Systematic Review. Sexual Medicine, 2019.
- Brown A, Barker ED, Rahman Q. A Systematic Scoping Review of the Prevalence, Etiological, Psychological, and Interpersonal Factors Associated with BDSM. Journal of Sex Research, 2020.
