AI 조언을 받은 후, 사람들의 정답률이 27%에서 9%로 폭락했다. 그러나 자신감은 30%에서 76%로 치솟았다.
이는 arXiv에 방금 게재된 동료 심사 연구[1]가 제시한 실제 데이터다.
논문 제목은 길다: 「AI 조언은 조언이 틀렸고 정답에 인센티브가 있을 때조차 사람들이 ‘모른다’고 말하는 의지를 억제한다」(AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized). 프랑스와 이탈리아의 세 대학 연구자들이 다섯 가지 실험을 설계하고 총 3,132명의 참가자를 모집하여 불편한 결론을 도출했다. AI는 단순히 답을 찾아주는 데 그치지 않고, 자신이 ‘무엇을 모르는지’ 인식하는 능력을 체계적으로 약화시키고 있다는 것이다.
정교하게 설계된 함정
연구자들은 일반적인 백과사전식 문제를 사용하지 않았다. 대신 AI 모델이 가장 취약한 영역——영화 장면의 시각적 세부사항——을 의도적으로 골랐다. 예를 들어 “《빈디컵스》(Bend It Like Beckham)에서 팀 유니폼 색깔은 무엇인가?” 같은 질문들이다. 사용된 모델은 Step 3.5 Flash였으며, 이 문제들에 대해 거의 틀린 답을 내놓았다.
이런 설계에는 이유가 있다.
AI가 제공하는 답변의 정확도가 높다면 사람의 수행 능력이 향상되는 것은 당연하다. 그건 단지 “도구의 유용성”을 연구하는 것일 뿐이다. 하지만 연구자들이 의도적으로 AI가 틀린 답을 주게 했을 때, 사람이 그것을 그대로 받아들이고 더 이상 의문을 제기하지 않는다면, 그것은 AI의 능력이 아니라 인간의 판단력 자체에 문제가 있다는 것을 보여준다.
결과는 충격적이었다.
AI 도움 없이, 참가자의 44%는 불확실할 때 “모른다”고 말했다. AI 조언이 화면에 등장하자——요청하지 않아도 그냥 표시만 되어도——이 수치는 3%로 급감했다. 정확도는 27%에서 9%로 떨어졌다. 자신감은 30%에서 76%로 상승했다.
연구자 중 한 명인 밀라노 비코카 대학의 Valerio Capraro 부교수는 직설적으로 요약했다: “사람들의 수행 능력이 매우 나빠졌습니다. 정확도는 3분의 1로 줄었지만 자신감은 두 배로 뛰었습니다.”
즉, AI는 당신을 더 많이 틀리게 만들고, 그 틀린 답에 대해 더 확신하게 만든다.
돈을 걸어도 소용없다
연구자들은 “금전적 인센티브”의 효과도 테스트했다——맞히면 상금, 틀리면 벌금을 부과하면 사람들이 더 합리적으로 행동할까?
효과는 약간 있었다: “모른다”고 말하는 비율이 3%에서 8%로, 정확도가 9%에서 16%로 상승했다. 그러나 이 수치들은 AI가 없을 때의 44%와 27%에 여전히 크게 못 미친다.
다시 말해, 실제 돈이 걸려 있어도 사람들은 AI의 “후광 효과”를 거부하기 어렵다. 이 결론은 직장에서 특히 중요하다——많은 기업이 이미 AI를 핵심 의사결정에 활용하고 있지만, 금전적 인센티브만으로는 잘못된 AI 조언에 대한 맹목적 추종을 효과적으로 막을 수 없다.
“인지 항복”: 확산 중인 현상
이 문제를 발견한 첫 번째 연구는 아니다. 올해 초, 와튼 스쿨(Wharton)의 연구자 Steven D. Shaw와 Gideon Nave는 정확한 개념을 제시했다——“인지 항복”(Cognitive Surrender).
그들의 실험에 따르면, 사람들은 AI가 제시한 답변을 73%~80%의 확률로 그대로 받아들인다——심지어 그 답변이 틀렸을 때조차. 더 놀라운 점은, “인지 항복”을 선택한 사람들이 스스로 생각한 사람들보다 오히려 더 자신감이 넘친다는 것이다. 그들은 “자신만만하게 틀린” 것이다.
와튼 연구자들은 인간의 인지 시스템을 세 가지 계층으로 나눈다: 직관 시스템(빠른 사고), 이성 시스템(느린 사고), 그리고 AI를 마주할 때의 세 번째 계층——“인지 항복”. 이 계층에서 인간은 직관도, 추론도 사용하지 않고 AI의 출력을 곧바로 자신의 판단으로 삼는다.
이것은 더 깊은 차원의 인지 전이이다: 당신은 자신이 이미 생각을 포기했다는 사실조차 인식하지 못한다.
편향은 어디에? AI를 설계하는 사람과 사용하는 사람
문제는 이것이다: AI 자체의 문제인가, 아니면 인간의 AI 사용 방식의 문제인가?
낙관론자들은 이렇게 말할 것이다: 이는 현재 AI가 충분히 완벽하지 않기 때문일 뿐이다. 미래에 모델 정확도가 향상되면 사람들의 정답률도 자연스럽게 올라갈 것이다. 또한, 스스로 “AI가 틀릴 수도 있다”고 상기하면 맹목적 추종을 피할 수 있다.
이 주장에는 일리가 있다——실험에서 AI가 실제로 틀린 답을 제공했으니까. 그러나 핵심은 AI의 등장 자체가 인간의 인지 상태를 변화시켰다는 점이다.
AI가 없을 때, 사람은 자신의 지식, 경험, 논리를 동원하여 판단한다. 틀리더라도 “생각 끝의 실수”다. AI가 있을 때, 사람은 이 사고 과정을 완전히 건너뛴다. 더 무서운 것은, 그들은 자신이 건너뛰었다는 사실조차 깨닫지 못한다는 것이다——자신의 답변에 대해 큰 확신을 가지고 있기 때문이다.
연구는 더 미묘한 메커니즘도 밝혀냈다: AI 조언이 단지 “옆에 표시”될 뿐, 능동적으로 찾을 필요가 없어도 사람은 무의식적으로 자신의 판단을 포기한다. 이는 현대 기술의 핵심 설계 논리를 가리킨다: AI 제품은 “항상 답이 있다”는 방식으로 설계되었지, “때로는 모른다고 말한다”는 방식이 아니다.
Google의 AI 검색은 링크를 자신만만한 AI 요약으로 대체했고, Common Sense Media는 이를 학생들에게 “수용할 수 없는 위험”으로 규정했다. ChatGPT, Claude, Copilot——어느 AI도 “잘 모르겠습니다”라고 말하지 않는다.
“항상 정답”이 제품의 기본 자세가 되면, 사용자인 우리도 무의식중에 “절대 의문을 제기하지 않는” 모드로 훈련된다.
가장 우려되는 점: 아이들
Capraro는 특정 집단——어린이——을 언급했다.
“어린이의 경우, 비판적 사고 능력이 완전히 발달하지 않은 상태에서 이런 시스템에 노출되면 결과가 훨씬 더 심각할 수 있습니다.”라고 그는 말했다.
생각해보라——“배우는 방법”을 배우고 있는 아이가 처음부터 AI가 답을 주는 것에 익숙해지면, 언제 “자신이 모른다는 사실”을 인식하는 법을 배울 수 있을까? 그리고 “자신이 모른다는 것을 아는 것”이야말로 인간 지적 성장의 출발점이다.
우리는 어떻게 해야 할까?
여기서 분명히 해야 할 점: 이 글의 목적은 AI를 아예 쓰지 말라는 것이 아니다. AI는 확실히 강력한 도구다——계산기나 검색 엔진처럼.
하지만 문제는, 계산기는 당신을 대신해 결정을 내리지 않고, 검색 엔진은 “이걸로 충분하다”고 생각하지 않는다는 점이다. 반면 현재의 AI는 모든 중간 사고 과정을 생략하고 “최종 답변”을 곧바로 제시한다.
연구자들의 조언은 사실 간단하지만, 실행하기는 어렵다:
첫째, ‘먼저 스스로 생각한다’는 규율을 세워라. AI에게 묻기 전에 먼저 답을 시도해보라. 50%만 맞출 수 있어도, 바로 답을 보는 것보다 가치 있다.
둘째, AI를 ‘답변 기계’가 아닌 ‘도전자’로 대하라. AI가 얼마나 정확한지 확인하는 대신, AI가 틀릴 만한 부분을 적극적으로 찾아라.
셋째, AI의 ‘자신감’에 경계심을 가져라. AI가 더 확신에 찬 어조로 말할수록, 더 의심하라. 모델의 언어 유창성과 사실 정확도 사이에는 필연적 관계가 없다.
넷째, 특히 아이들의 독립적 사고를 보호하라. 비판적 사고 능력이 형성되기 전에는 AI 도구 사용을 제한하거나, 사용할 때 항상 성인의 지도가 있어야 한다.
더 깊은 물음
와튼 연구자 Shaw는 한 글에서 이렇게 썼다: “인지 항복이 가장 위험한 점은, AI가 인간이 생각했지만 아직 입 밖에 내지 않은 생각을 대체한다는 것이다.”
AI가 당신을 대신해 결정을 내리는 그 순간, 당신이 잃는 것은 “자신이 틀렸다는 사실을 발견할 기회”다——그리고 이것은 정답을 놓치는 것보다 더 위험할 수 있다.
그리고 이것이 독립적 사고의 마지막 방어선일지도 모른다.
참고 자료:
[1] Marcoccia, Quattrociocchi, Capraro. “AI advice suppresses people’s willingness to say ‘I don’t know’, even when the advice is wrong and accuracy is incentivized.” arXiv:2607.13562, July 2026.
[2] Shaw & Nave. “Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender.” Wharton School, University of Pennsylvania, February 2026.
[3] TNW: AI advice made people three times less accurate but twice as confident, researchers found
[4] The Register: Using AI makes people less likely to admit they don’t know something
[5] Hacker News: AI advice made people 3x less accurate but 2x confident, researchers found
