수많은 베스트셀러, 기업 연수, 숏폼 영상에서 인용되어 온 심리학의 유명한 법칙이 실은 통계적 착시일 수 있습니다.
지난주, 캐나다 맥길 대학교(McGill University) 과학사회실의 2020년 칼럼이 Hacker News 메인 페이지에 다시 올라오며 추천 110개, 댓글 112개가 달리며 뜨거운 논쟁을 일으켰습니다. 작성자인 조나단 자메(Jonathan Jarry)는 “직관적으로 당연해 보이는 상식”을 검증하려 문헌 조사를 진행하다가 놀라운 결론에 도달했습니다. 우리가 잘 아는 다닝-크루거 효과(Dunning-Kruger effect)—즉 “아는 것이 없을수록 더 당당하다”는 이론이—단지 데이터 수치가 만들어낸 착시일 수 있다는 점입니다.
이 효과는 원래 무엇이었나
1999년, 코넬 대학교(Cornell University)의 저스틴 크루거(Justin Kruger)와 데이비드 다닝(David Dunning)은 《인격 및 사회심리학 학술지》에 《Unskilled and Unaware of It》이라는 논문을 발표했습니다. 대학생 참가자들에게 문법, 유머 감각, 논리적 추론 테스트를 풀게 한 뒤 자신의 성적이 전체 중 어느 정도일지 예상하게 하고 실제 결과와 비교했습니다. 그 결과, 최하위권 참가자들은 자신의 능력을 크게 높게 평가했고(실제 하위 15% 수준이나 스스로는 60%로 예상), 최상위권은 오히려 약간 낮게 평가했습니다(스스로 70%로 예상했으나 실제는 90%). 이 연구는 이듬해 이그노벨상을 수상했습니다.
이후 대중 매체는 이 발견을 하나의 곡선과 4단계(우매함의 봉우리, 절망의 계곡, 깨달음의 경사면, 지속 가능성의 평원)로 단순화했습니다. “자신이 모른다는 사실조차 모르는” 사람들을 우매함의 봉우리 꼭대기에 위치시킨 것입니다. 그러나 원래 논문에는 이러한 4단계 구분 자체가 존재하지 않으며, 이는 훗날 인터넷에서 만들어진 2차 창작물이었습니다.
더 자주 간과되는 것은 다닝 본인의 설명입니다. 그는 자메에게 보낸 답장에서 “이 효과는 타인이 아니라 우리 자신에 대한 이야기입니다”라고 적었습니다. 본래 뜻은 누구든 자신이 잘 모르는 분야에서는 자신을 과대평가하기 쉽다는 의미였습니다. 결코 타인을 비웃기 위한 명분이 아니었습니다.
그 유명한 그래프는 어떻게 그려졌나
문제의 핵심은 그 유명한 그래프에 있습니다. 원래 실험에서 각 학생은 두 개의 데이터(자체 평가 점수와 실제 점수)를 가집니다. 연구진은 전체 학생을 실제 성적에 따라 4개 그룹(사분위)으로 나누고, 그룹별 평균값을 내어 두 개의 선으로 연결했습니다.
그림: 성적 사분위별로 그린 “자체 평가 vs 실제 점수” 곡선. 하위 그룹은 과대평가하고 상위 그룹은 낮게 평가함. 출처: mcgill.ca
겉보기에는 명확한 증거처럼 보입니다. 성적이 낮은 이들은 자신이 부족하다는 사실을 깨닫지 못하는 것처럼 보입니다.
하지만 이 그래프는 “사람”의 실제 데이터가 없어도 그려질 수 있습니다. 통계학자 에드 누퍼(Ed Nuhfer) 연구팀은 2016년과 2017년 수학 학술지 《Numeracy》에 두 편의 논문을 내고, 컴퓨터로 생성한 순수 무작위 데이터만으로도 거의 똑같은 그래프가 그려진다는 사실을 증명했습니다. 맥길 칼럼 작성자가 심리학자 패트릭 맥나이트(Patrick McKnight)에게 재현을 의뢰하자, 원래 다닝-크루거 효과를 신봉하며 수업시간에 가르치던 맥나이트는 R 언어로 시뮬레이션을 돌려본 후 견해를 바꾸었습니다. 앞서 2002년 애커맨(Ackerman) 연구팀도 유사한 시뮬레이션을 진행했으나 당시에는 큰 주목을 받지 못했습니다.
그림: 맥나이트가 순수 무작위 데이터로 시뮬레이션한 곡선으로, 원본 논문과 거의 일치함. 출처: mcgill.ca
왜 무작위 데이터가 심리학 법칙으로 위장할 수 있는가
이 현상은 바로 평균 회귀(regression to the mean) 때문입니다.
시험 운으로 설명하면 이해하기 쉽습니다. 평소 80점 정도를 받는 사람이 어떤 시험에서 운이 나쁘거나 컨디션이 안 좋아 60점을 받았다면, 다음 시험에서는 다시 본래 실력 수준으로 올라갈 확률이 높습니다. 반대로 운이 좋아 95점을 받았다면 다음에는 다시 낮아질 가능성이 큽니다. 결과가 극단적일수록 무작위 요소가 크게 작용한 것이며, 다음번에는 평균으로 돌아가려는 경향을 보입니다. 스포츠에서의 “루키 서스모어 징크스”나 발열 다음 날 체온이 내려가는 것도 같은 원리입니다.
다닝-크루거 효과의 데이터에도 동일한 메커니즘이 반대 방향으로 작동하고 있습니다. 스스로 평가한 점수와 실제 성적은 완전히 일치하지 않으며, 자체 평가에는 당일의 기분, 자신감, 문제의 친숙도 등 수많은 측정 노이즈가 섞입니다. 노이즈가 커질수록 통계적/기하학적으로 피할 수 없는 결과가 나타납니다. 성적이 가장 낮은 사람은 자체 평가 시 위쪽으로 편향될 수밖에 없고(아래쪽으로 내려갈 공간이 거의 없음), 성적이 가장 높은 사람은 아래쪽으로 편향될 수밖에 없습니다. 심리적 편향이 전혀 없더라도, “실제 능력”과 “자체 평가”가 완벽히 일치하지 않는 한 그래프를 그리면 자연스럽게 다닝-크루거 곡선이 형성됩니다.
Hacker News의 한 이용자는 이를 명확하게 요약했습니다. 최하위권은 더 이상 자신을 낮게 평가할 수 없고, 최상위권은 더 이상 높게 평가할 수 없습니다. 두 변수가 완전 상관관계가 아닌 한 이 곡선은 스스로 나타납니다. 정말 조사할 가치가 있는 부분은 일반적인 통계 곡선을 벗어나는 비선형 요소인데, 현재 데이터에서 그 신호는 매우 약합니다.
2020년 지냑(Gignac)과 자엔코프스키(Zajenkowski)는 학술지 《Intelligence》에 IQ 자체 평가 데이터를 분석한 논문을 발표했습니다. 제목은 《다닝-크루거 효과는 (대부분) 통계적 착시이다》였습니다. 더 적절한 통계적 검증 방식을 적용하자 해당 효과는 대부분 사라졌습니다. 또한 측정 오차가 클수록 다닝-크루거 효과가 더 강하게 나타나는 시뮬레이션 결과도 확인되었습니다. 과학사에서 “오차가 클수록 결론이 명확해지는” 정상적인 사례는 매우 드물며, 이 자체가 강력한 경고 신호입니다.
논쟁은 끝나지 않았다: 양쪽 모두의 근거
회의론자들만 있는 것은 아닙니다. 옹호론자들 역시 반박 연구를 제시하며 5년 넘게 논쟁을 이어가고 있습니다.
| 회의론 측 | 옹호론 측 |
|---|---|
| 누퍼 등 (2016/2017): 무작위 데이터만으로 효과 재현 가능 | 다닝 연구팀: 2002년 및 2008년 연구에서 평균 회귀를 직접 검증하였으며 오차를 제거해도 효과가 남는다고 주장 |
| 애커맨 등 (2002): 시뮬레이션으로 유사한 인공 곡선 입증 | 젠센 등 (2021): 3,500명 이상을 대상으로 한 2건의 연구에서 상위인지 설명을 지지 |
| 지냑 & 자엔코프스키 (2020): 효과의 대부분은 통계적 착시 | 덩클 등 (2023): 다른 방식으로 재분석한 결과 효과 크기는 매우 작지만 통계적으로 유의미함 |
| 힐러 (2023): 지냑 & 자엔코프스키의 데이터 처리 방식에 의문 제기 | 2025년 다닝: 영국심리학회 간행물을 통해 반론 제기 |
현재 가장 타당한 중립적 합의점은 다음과 같습니다. “다닝-크루거 효과는 실제로 존재할 수 있지만, 지나치게 과장되었다.” “대부분의 사람은 자신을 제대로 보지 못한다”는 보편적 법칙으로는 성립하기 어렵지만, “일부 소수의 사람이 자신을 심각하게 과대평가한다”는 현상으로서의 증거는 남아 있습니다. 누퍼의 데이터에서도 “실력이 없으면서 스스로 깨닫지 못하는” 부류에 해당하는 인원은 전체의 5~6% 수준에 불과했습니다.
일반인에게 이것이 의미하는 바
첫째, “다닝-크루거 효과”를 타인을 비하하거나 훈계하는 도구로 쓰지 말아야 합니다. 누군가 확신에 찬 태도로 틀린 말을 하더라도, 그것이 반드시 다닝-크루거 효과인 것은 아닙니다. 단순한 과잉 확신 편향(overconfidence bias)이거나 “평균 이상 착각”(운전자의 80% 이상이 자신의 운전 실력이 평균 이상이라고 생각하는 현상)일 수 있습니다. 이러한 심리적 편향은 명백히 존재하며, 심리학이 당당한 무지를 설명하기 위해 굳이 다닝-크루거 효과에 의존할 필요는 없습니다.
둘째, 다닝의 “이 효과는 우리 자신에 대한 이야기”라는 말이 이 논의에서 가장 깊이 새겨야 할 주장에 해당합니다. 자신이 익숙하지 않은 분야일수록 스스로의 느낌은 가장 믿을 수 없습니다. 그렇기 때문에 외부의 객관적 피드백—시험 점수, 건강 검진 결과, 동료의 평가, 시장의 검증이—“내가 이해했다고 느끼는 주관적 감정”보다 훨씬 더 정확합니다.
셋째, “듣기에 지나치게 그럴듯한” 심리학적 통설에 대해 항상 의구심을 가질 필요가 있습니다. 다닝-크루거 효과가 20년 동안 널리 유행한 이유는 메시지가 주는 쾌감이 매우 컸기 때문입니다. “저 사람은 자신이 모른다는 사실조차 모른다”며 타인을 우월한 위치에서 바라볼 수 있게 해줍니다. 결론이 만족스러울수록 “원래 데이터가 정말 그렇게 말하고 있는가?”라고 질문해보는 자세가 필요합니다.
“무지할수록 당당하다”는 통속적 신화로서의 다닝-크루거 효과는 데이터 재검증을 통해 큰 도전을 받고 있습니다. 하지만 20 넘게 이어져 온 학술적 논쟁으로서 이 문제는 아직 완결되지 않았습니다. 심리학자들과 통계학자들이 벌이는 논쟁 자체도 우리에게 중요한 시사점을 줍니다. 결론이 그럴듯하고 명확해 보일수록 원래의 기초 데이터를 직접 확인해야 합니다. 그것이 바로 2020년의 글이 오늘날 Hacker News에서 112개의 댓글을 모으며 끊임없이 논의되는 이유입니다.
참고 링크:
- McGill OSS: The Dunning-Kruger effect may just be a data artefact
- HN 논의 (item?id=49160437)
- Kruger & Dunning (1999): Unskilled and Unaware of It
- Gignac & Zajenkowski (2020): The Dunning-Kruger effect is (mostly) a statistical artefact
- Nuhfer 등 (2016/2017): Numeracy 학술지 논문
- Dunkel 등 (2023): Reevaluating the Dunning-Kruger effect
- Dunning (2025): The Dunning-Kruger effect and its discontents (영국심리학회)
