“BDSM 참여자는 비교집단보다 어떤 성격 점수가 높았다”는 기사를 읽었을 때, 그 결과가 처음부터 세운 질문에서 나온 것인지, 자료를 본 뒤 여러 분석 가운데 눈에 띄는 것만 남긴 것인지 논문 본문만으로는 분명하지 않을 때가 있습니다. 이 차이를 확인하는 장치가 사전등록(preregistration)입니다. 연구자가 결과를 보기 전에 질문, 표본 수, 제외 기준, 주요 변수와 분석 방법을 날짜가 남는 저장소에 기록하는 방식이에요.
사전등록이 있다는 사실만으로 결과가 참이 되거나 연구의 질이 보증되는 것은 아닙니다. 반대로 등록이 없는 논문을 곧바로 잘못된 연구라고 단정할 수도 없어요. 독자에게 필요한 것은 등록 여부를 훈장처럼 보는 일이 아니라, “무엇을 미리 정했고 무엇을 나중에 탐색했는가”를 구분해 결론의 무게를 조절하는 일입니다.
글 상단의 자료는 찰스 다윈이 1837년 종의 변이에 관한 노트에 남긴 나무 모양 스케치입니다. 이 노트는 현대적 사전등록이 아니며 BDSM 연구의 근거도 아닙니다. 생각과 관찰이 언제 기록됐는지 남기는 일이 나중에 완성된 설명만 보는 것과 어떻게 다른지 보여 주는 역사적 자료로만 사용했습니다. 원본은 Wikimedia Commons에서 확인할 수 있고 퍼블릭 도메인입니다.
결과를 본 뒤에는 선택지가 달라 보일 수 있어요
한 설문 연구에도 결정할 일이 많습니다. 어느 점수를 주요 결과로 삼을지, 응답 시간이 짧은 참가자를 제외할지, 표본 모집을 언제 멈출지, 연령·성별 같은 변수를 어떻게 보정할지, 하위집단을 따로 볼지 정해야 해요. 각각의 선택이 타당할 수 있어도, 결과를 확인한 뒤 가장 흥미로운 조합만 고르면 우연히 낮은 p값을 만날 기회가 늘어납니다.
Simmons, Nelson, Simonsohn은 2011년 논문에서 자료 수집, 분석, 보고의 유연성이 거짓 양성 결과를 크게 늘릴 수 있음을 시뮬레이션과 실험으로 보였습니다. 이 문제는 연구자가 일부러 결과를 조작해야만 생기는 것이 아닙니다. 애매한 결정을 결과에 맞춰 하나씩 내리다 보면 처음의 질문과 마지막 분석 사이가 벌어질 수 있어요.
BDSM 연구도 예외가 아닙니다. 2013년 Wismeijer와 van Assen 연구는 BDSM 참여자 902명과 비교집단 434명을 대상으로 성격, 애착, 거절민감성, 주관적 안녕감의 여러 지표를 비교했습니다. 논문은 효과크기와 다중검정 기준을 보고했지만, 완성된 논문만 읽어서는 모든 분석 결정이 자료를 보기 전에 확정됐는지까지 자동으로 알 수 없습니다. 이것은 해당 연구에 문제가 있었다는 판정이 아니라, 논문과 사전등록 기록이 답하는 질문이 다르다는 뜻입니다.
사전등록은 ‘정답 예고’가 아니라 결정의 시간표예요
좋은 사전등록에는 연구 질문과 가설뿐 아니라 주요 결과 변수, 표본 수와 중단 규칙, 제외 기준, 자료 전처리, 통계 모형이 재현할 수 있을 만큼 구체적으로 적혀 있습니다. 등록 시각이 자료 수집이나 분석보다 앞서는지도 중요해요. “차이가 있을 것이다”처럼 방향과 분석이 빠진 한 문장만 등록하면 실제 선택의 폭은 거의 줄지 않습니다.
Nosek 등은 사전등록의 핵심을 결과를 관찰하기 전에 연구 질문과 분석 계획을 정의하는 일로 설명했습니다. 독자는 논문의 결과표를 등록 문서와 나란히 놓고 주요 결과가 바뀌었는지, 제외 기준이 추가됐는지, 예상 표본 수와 실제 표본 수가 다른지 확인할 수 있습니다. 차이가 있다고 해서 모두 오류는 아니에요. 장비 고장, 예상하지 못한 자료 구조, 안전 문제처럼 계획을 바꿔야 할 이유가 생길 수 있습니다. 중요한 것은 변경 이유와 시점을 숨기지 않는 것입니다.
탐색 분석은 낮은 등급의 분석이 아닙니다
자료를 보고 새 질문이 떠오르는 일은 연구의 중요한 출발점입니다. 사전등록의 목적은 탐색을 막는 것이 아니라, 미리 계획한 확인 분석과 자료에서 시작된 탐색 분석을 같은 증거처럼 보이지 않게 나누는 데 있어요. “사전등록한 분석에서는 차이가 없었지만, 탐색 분석에서 특정 하위집단의 차이가 보였다”는 보고는 충분히 가치가 있습니다. 다만 그 발견은 새 표본에서 다시 확인할 가설로 읽어야 합니다.
반대로 탐색 결과를 처음부터 예측한 것처럼 쓰면 독자는 우연히 찾은 패턴과 독립적으로 시험한 가설을 구분할 수 없습니다. BDSM처럼 낙인이 개입하기 쉬운 주제에서는 이 구분이 특히 중요합니다. 한 하위집단의 눈에 띄는 결과가 전체 참여자의 성격, 정신건강 또는 동의 능력을 설명하는 문장으로 커질 수 있기 때문이에요.
등록이 있어도 원문과 대조해야 해요
2024년 van den Akker 등은 심리학 연구 300편의 사전등록 문서와 논문을 대조했습니다. 연구진은 등록 문서에 방법 세부사항이 부족한 경우가 잦았고, 공개되지 않은 계획 변경도 자주 발견했다고 보고했습니다. 특히 자료 수집 절차, 통계 모형, 제외 기준에서 불일치가 나타났어요. 더 구체적인 등록 양식은 다른 연구자가 절차를 재현할 가능성을 높였습니다.
따라서 “preregistered”라는 표지만 확인하고 멈추지 마세요. 등록 링크가 실제로 열리는지, 날짜와 버전이 보이는지, 주요 분석을 실행할 만큼 구체적인지, 논문이 변경 사항을 설명하는지 살펴봐야 합니다. 등록 문서가 너무 모호하거나 논문과 다르다면, 그 차이를 연구의 한계로 반영하면 됩니다. 곧바로 부정행위라고 결론 내릴 근거는 아닙니다.
등록보고서는 한 단계 더 앞에서 심사합니다
사전등록과 등록보고서(Registered Report)는 같은 말이 아닙니다. 일반 사전등록은 연구자가 계획을 저장소에 남기는 절차입니다. 등록보고서는 결과를 알기 전에 연구 질문과 방법, 분석 계획을 학술지가 심사하고 원칙적 게재 승인을 내리는 출판 형식이에요. 연구진이 승인된 절차를 지키고 결과를 명확히 보고한다면, 가설을 지지하지 않는 결과도 결과의 방향 때문에 배제하지 않는 것이 핵심입니다.
Center for Open Science는 등록보고서가 예상 밖의 발견을 금지하지 않는다고 설명합니다. 계획하지 않은 분석은 탐색 분석으로 구분해 함께 보고할 수 있어요. 이 형식도 표본의 대표성, 척도의 타당도, 측정오차를 자동으로 해결하지는 않습니다. 연구 설계의 질과 결과를 보기 전 심사를 결합해 선택적 보고와 출판 편향을 줄이려는 장치로 이해하는 편이 정확합니다.
투명성은 참여자의 사생활 공개와 다릅니다
BDSM 관련 설문에는 성적 관심, 관계, 건강처럼 재식별될 때 피해가 큰 정보가 포함될 수 있습니다. 연구 계획을 공개하는 것과 익명화되지 않은 응답 원자료를 공개하는 것은 별개의 결정이에요. 사전등록에는 질문, 변수, 표본 계획과 분석을 적을 수 있지만, 개인정보나 참가자의 구체적인 응답을 넣을 이유가 없습니다.
독자는 “자료를 공개하지 않았으니 투명하지 않다”고 단순화하기보다, 윤리심의와 동의 범위, 비식별화 가능성, 제한 접근 자료나 분석 코드 같은 대안을 확인해야 합니다. 민감한 자료의 보호는 연구 투명성의 반대가 아니라 연구 윤리의 일부입니다. 개인정보와 결과 공유의 경계는 BDSM 연구에서 개인정보와 결과 공유를 구분하는 법에서 더 자세히 볼 수 있어요.
논문과 등록 기록을 함께 읽는 일곱 단계
- 논문 본문, 부록, 저장소에서 사전등록 또는 등록보고서 링크를 찾습니다.
- 등록 날짜가 자료 수집 또는 분석보다 앞서는지 확인합니다.
- 주요 결과 변수, 표본 수와 중단 규칙, 제외 기준, 통계 모형을 표시합니다.
- 논문의 실제 방법과 결과표에서 같은 항목을 찾아 대조합니다.
- 계획에서 달라진 부분과 변경 이유가 공개됐는지 봅니다.
- 사전등록 분석과 탐색 분석이 구분됐는지 확인합니다.
- 효과크기, 신뢰구간, 표본의 한계와 독립된 반복 연구를 함께 읽습니다.
링크가 없거나 등록 기록을 찾지 못했다면 “등록 여부를 확인하지 못했다”고 쓰는 것이 정확합니다. 등록이 없다는 이유만으로 결과를 버리지도, 등록이 있다는 이유만으로 결론을 확정하지도 마세요. 표본과 자기보고의 한계는 BDSM 연구 결과는 누구에게 적용될까에서, 효과크기와 반복 연구는 BDSM 연구의 ‘유의한 차이’는 얼마나 큰 차이일까에서 이어서 확인할 수 있습니다.
사전등록은 연구자의 미래를 묶어 두는 약속장이 아니라, 독자가 결과가 만들어진 경로를 볼 수 있게 하는 기록입니다. 좋은 독해는 등록 유무를 흑백 판정으로 바꾸지 않고, 계획·변경·탐색·반복의 경계를 확인해 주장보다 강한 결론을 덧붙이지 않는 데서 시작합니다.
이 글은 연구 결과를 읽기 위한 일반적인 심리교육 자료이며 개인의 성향이나 정신건강 상태를 진단하지 않습니다.
참고 자료
- Nosek 등(2018), The Preregistration Revolution — 결과를 보기 전에 질문과 분석 계획을 정의하는 사전등록의 목적과 적용 범위.
- Simmons, Nelson, Simonsohn(2011), False-Positive Psychology — 자료 수집·분석·보고의 유연성이 거짓 양성 결과를 늘리는 과정을 다룬 시뮬레이션과 실험.
- van den Akker 등(2024), The Potential of Preregistration in Psychology — 심리학 연구 300편의 사전등록 구체성과 논문 일치도를 평가한 연구.
- Center for Open Science, Registered Reports — 결과 이전 심사, 원칙적 게재 승인, 계획 분석과 탐색 분석의 구분.
- Wismeijer & van Assen(2013), Psychological Characteristics of BDSM Practitioners — 여러 심리 지표와 비교집단을 사용한 BDSM 연구 사례.
