재현성 위기 — 영양역학이 특히 약한 이유

어떤 분야는 구조적으로 틀리기 쉽다 | 건강 설계 200 8화

다시 해 보면 안 나오는 결과들

2010년대에 여러 분야에서 같은 일이 벌어졌다. 유명한 연구들을 그대로 다시 해 봤더니 상당수가 재현되지 않았다. 심리학에서 시작해 암 생물학, 경제학, 그리고 의학의 여러 분야로 번졌다.

이것은 연구자들이 부정직해서 생긴 일이 아니다. 대부분은 정상적으로 일하는 연구자들이 만들어내는 구조적 산물이었다. 구조를 알면 어떤 결과를 얼마나 믿을지 정할 수 있다.

우연이 만드는 결과

통계적 유의성의 관행적 기준은 "이 결과가 우연히 나올 확률이 5% 미만"이다. 뒤집으면 아무 효과가 없어도 20번에 한 번은 유의한 결과가 나온다는 뜻이다.

여기서 문제가 시작된다. 한 연구가 하나의 질문만 던지는 경우는 드물다. 대규모 식이 설문에는 수백 개의 식품 항목이 있고, 결말도 수십 가지다. 조합하면 수천 개의 가설이 된다. 그중 몇 개는 반드시 유의하게 나온다. 그리고 논문이 되는 것은 대개 그 몇 개다.

이 문제에 붙은 이름이 여럿이다. 다중비교, 데이터 준설, p-해킹, 그리고 결과를 본 뒤 가설을 만드는 관행. 의도가 나쁘지 않아도 결과는 같다. 문헌에는 우연히 유의했던 결과가 과잉 대표된다.

발표 편향

두 번째 층은 출판 단계에 있다. "효과가 없었다"는 결과는 학술지에 잘 실리지 않고, 연구자도 덜 투고한다. 그래서 문헌 전체가 효과가 있는 쪽으로 기울어 있다.

메타분석이 이 편향을 물려받는다. 발표된 것만 모으면 발표되지 않은 음성 결과가 빠진 채 평균이 계산된다. 좋은 메타분석은 이 편향을 검사하는 방법을 함께 싣지만, 검사가 완전하지는 않다.

왜 영양역학이 특히 약한가

앞의 두 문제는 모든 분야에 있다. 영양역학에는 여기에 고유한 취약점이 더해진다.

첫째, 노출 측정이 부정확하다. 대부분의 대규모 연구는 식품섭취빈도설문에 의존한다. "지난 1년간 시금치를 얼마나 자주 드셨습니까"에 정확히 답할 수 있는 사람은 없다. 이 오차는 연관을 약화시키기도 하고, 조건에 따라 엉뚱한 방향의 연관을 만들기도 한다.

둘째, 모든 것이 서로 얽혀 있다. 어떤 음식을 더 먹으면 다른 음식을 덜 먹는다. 그래서 "○○를 먹는 효과"는 언제나 "○○ 대신 무엇을 안 먹는 효과"와 섞여 있다. 좋은 연구는 대체 모형으로 이걸 명시한다 — "붉은 고기 1회를 콩류로 바꾸면"처럼. 이 명시가 없는 결과는 해석이 모호하다.

셋째, 효과 크기가 작다. 대개 20~40% 수준의 상대위험 차이를 다룬다. 이 정도 크기는 잔여 교란(5화)으로 충분히 만들어질 수 있다. 흡연과 폐암처럼 자릿수가 다른 연관이라면 교란으로 설명하기 어렵지만, 영양역학의 신호는 그만큼 크지 않다.

넷째, 무작위배정이 구조적으로 어렵다. 눈가림이 안 되고, 장기간 식단을 강제할 수 없고, 순응도가 떨어진다. 그래서 최상급 근거로 올라갈 길이 원리적으로 좁다.

이 넷이 겹치면 결과가 나온다. 매년 수백 개의 "○○가 몸에 좋다/나쁘다" 연구가 나오고, 그중 상당수가 몇 년 뒤 조용히 반박된다.

개선된 관행들

상황이 나아지고 있는 것도 사실이다. 알아 두면 논문의 질을 빠르게 가늠할 수 있다.

• 사전등록 — 데이터를 보기 전에 가설과 분석 방법을 공개 등록한다. 결과를 보고 가설을 바꾸는 것을 막는다.
• 주요 결말의 사전 지정 — 무엇을 주 결말로 볼지 미리 정한다. 나중에 유의하게 나온 것으로 갈아타는 것을 막는다.
• 데이터·코드 공개 — 다른 사람이 같은 데이터로 재분석할 수 있다.
• 대규모 협력 연구 — 여러 기관이 함께 하면 표본이 커지고 우연의 영향이 준다.
• 음성 결과의 출판 — 등록 보고서 형식은 결과가 나오기 전에 게재를 확정한다.

논문에서 사전등록 번호가 보이면 신뢰도를 한 칸 올려도 된다.

실용적인 규칙 다섯 개

이 모든 것을 개인이 판별하기는 어렵다. 대신 실용적인 규칙을 쓴다.

1. 단일 연구로 행동을 바꾸지 않는다. 특히 새롭고 놀라운 결과일수록 그렇다. 놀라움과 재현 가능성은 대체로 반비례한다.
2. 상대위험 20~40% 수준의 영양 결과는 보류한다. 방향의 힌트로만 쓴다.
3. 방향이 여러 방법에서 일치하는지 본다. 관찰·RCT·기전·유전 분석이 같은 곳을 가리키면 신뢰도가 올라간다.
4. 오래 살아남은 결론을 우선한다. 20년을 버틴 결론(금연·혈압·운동·수면)은 올해의 새 결론보다 강하다.
5. 되돌릴 수 없거나 비싼 행동일수록 더 높은 근거를 요구한다.

이 다섯 개가 이 시리즈 전체가 쓰는 판단 규칙이다. 그래서 앞으로 199화는 새로운 것보다 오래 버틴 것에 지면을 훨씬 많이 쓴다. 재미는 덜하지만 그것이 정직한 배분이다.

언론과 알고리즘이 이 구조를 증폭한다

재현성 문제는 학계 안에서 끝나지 않는다. 바깥으로 나오면서 한 번 더 증폭된다.

기사가 되는 연구는 놀라운 연구다. "예상대로 흡연은 나빴다"는 기사가 되지 않고, "매일 커피 다섯 잔이 ○○를 바꾼다"는 기사가 된다. 그런데 놀라움은 대개 우연이거나 작은 표본에서 나온다. 즉 기사화 기준과 신뢰도 기준이 정확히 반대로 작동한다.

여기에 추천 알고리즘이 붙는다. 반응이 큰 것이 더 퍼지고, 반응은 확신에 찬 문장에서 나온다. "아직 근거가 부족하다"는 문장은 퍼지지 않는다. 그래서 가장 널리 퍼진 건강 정보와 가장 근거가 두꺼운 건강 정보는 거의 겹치지 않는다.

그리고 반박은 거의 전달되지 않는다. 원래 연구는 헤드라인이 되지만, 3년 뒤 대규모 시험이 그것을 반박했다는 소식은 기사가 되지 않는다. 사람들 머릿속에는 첫 번째 문장만 남는다. 5년마다 뒤집히는 것처럼 느껴지는 이유의 절반은 여기 있다 — 뒤집힌 게 아니라 뒤집힌 소식이 전달되지 않은 것이다.

실용적 대응은 단순하다. 새 소식을 좇지 말고, 오래 버틴 결론에 시간을 쓴다.

마지막으로 하나만 덧붙인다. 이 화의 내용을 모든 연구를 의심하라는 뜻으로 읽으면 곤란하다. 의학은 이 문제들을 알고 있고, 그래서 사전등록·대규모 협력·재현 연구라는 교정 장치를 스스로 만들어 왔다. 자기 오류를 체계적으로 찾아내는 절차를 갖춘 지식 체계는 흔하지 않다. 회의는 그 절차를 신뢰하는 방식이어야지, 아무것도 믿지 않는 태도가 되면 결국 가장 근거 없는 주장에게 자리를 내준다.

정리

• 핵심 — 다중비교와 발표 편향은 모든 분야의 문제이고, 영양역학은 여기에 측정 오차·상호 대체·작은 효과크기·무작위배정 불가라는 고유 취약점이 더해진다.
• 근거 등급 — [기전] 방법론이다. 재현 실패가 여러 분야에서 체계적으로 확인된 것 자체는 [코호트]급 이상의 실증이며, 사전등록이 양성 결과 비율을 낮췄다는 관찰도 있다.
• 내가 할 것 — 단일 연구로 행동을 바꾸지 않는다. 새롭고 놀라운 결과일수록 보류하고, 20년을 버틴 결론을 우선한다.
• 모르는 것 — 발표되지 않은 음성 결과의 규모는 원리적으로 알 수 없다. 그래서 문헌 전체가 얼마나 기울어 있는지는 추정치일 뿐이다.