AI가 최고급 수학 경시대회에서 천재들을 제치는 이유: 깊은 추론이 아닌 200만 토큰의 작업 기억

AI가 최고급 수학 경시대회에서 천재들을 제치는 이유: 깊은 추론이 아닌 200만 토큰의 작업 기억

인공지능인지과학수학적 추론

데이터 소스:HN + web research

2026년 8월, 인지과학자 다비데 피페르(Davide Piffer)는 상식을 깨는 연구 관찰을 발표했다. 최고의 수학 경시대회에서 AI가 뛰어난 성과를 거두는 주된 요인은 인간을 뛰어넘는 깊은 사고력이 아니라, 놀라운 기억 용량이라는 점이다. 많은 이들이 수학적 능력을 순수한 IQ나 추상적 추론의 결과로 돌리지만, 암산 과정에서 가장 쉽게 끊어지는 고리가 기억이라는 사실을 간과하곤 한다. 대형 언어 모델(LLM)의 컨텍스트 윈도우가 백만 토큰 수준으로 확장되면서, AI는 사실상 무한히 확장되는 외부 연습장을 소유하게 되었다.

4개 정보 청크 대 200만 토큰: 암산이 갖는 생리적 한계

인간이 세 자리 수 두 개를 곱하는 암산에 어려움을 겪는 핵심 이유는 곱셈 규칙을 몰라서가 아니라, 뇌가 여러 중간 곱셈 결과를 동시에 유지하지 못하기 때문이다. 인지심리학 연구에 따르면 인간의 단기 작업 기억 용량은 단 4개에서 9개의 정보 청크(Chunk)에 불과하다. 종이와 연필의 도움 없이 뇌는 다음 단계를 추론하는 동시에 이전에 계산한 임시 수치를 유지하는 데 엄청난 인지적 에너지를 소모해야 하며, 이는 인간 지능의 생리적 병목으로 작용한다.

반면 주류 대형 언어 모델의 컨텍스트 윈도우는 128K에서 2M+ 토큰까지 확장되어 한 번에 수십만 자의 정보를 동시에 참조할 수 있다. 이 거대한 기호 공간 안에서 모델은 원본 문제, 수백 단계의 중간 방정식, 이미 폐기된 여러 탐색 경로, 그리고 완전한 정리 정의를 동시에 올려놓을 수 있다. 이러한 체급 차이는 인간 암산자를 극도로 불공정한 경기장으로 밀어넣는다.

AI와 인간의 작업 기억 비교 그림: AI와 인간의 작업 기억 메커니즘 차이 비교. 출처: Davide Piffer Substack

종이 한 장이 있다고 해서 인간이 갑자기 똑똑해지는 것은 아니지만, 이는 인간의 유효 작업 기억을 획기적으로 확장해 준다. 대형 언어 모델의 컨텍스트 윈도우는 본질적으로 대용량 메모장과 초고속 검색 메커니즘의 결합이다. 엔지니어링 관점에서 볼 때, 복잡한 추론 과정에서 AI가 보여주는 안정성은 3분 전에 도출한 계수를 절대로 놓치지 않는다는 점에 크게 의존하고 있다.

기호 장부 정리: 수학이 AI의 독무대가 된 이유

수학 경시대회는 이러한 ‘작업 기억의 우위’가 성과로 가장 쉽게 전환되는 분야다. 수학 체계에서는 기본 전제가 모두 명시적으로 드러나며, 모든 변환 단계가 엄격한 기호 규칙을 통해 대입 및 검증될 수 있다. 덕분에 AI는 길고 복잡한 증명 과정을 고정밀 기호 장부 정리 게임으로 분해할 수 있다.

인간 참가자가 아이디어를 짜내는 동시에 수치 계산 실수를 경계해야 하는 동안, AI는 수십 개의 추론 가지를 병렬로 탐색하고 코드 해석기나 형식 증명 도구를 활용해 즉시 검증할 수 있다. 그중 99개의 경로가 막다른 길로 밝혀지더라도, 컨텍스트 윈도우는 이 실패 기록을 완벽히 보존하여 모델이 같은 실수를 반복하지 않도록 한다. 이러한 고강도 상태 기록과 경로 선별은 쉽게 쇠퇴하는 인간 단기 기억의 약점을 정확히 겨냥한다.

인간 작업 기억 Baddeley-Hitch 모델 그림: 클래식 Baddeley & Hitch 인간 작업 기억 다중 구성 요소 모델. 출처: Wikimedia Commons

인지심리학 분야의 학술적 성과 역시 이러한 관찰을 뒷받침한다. Alloway 등이 2010년에 진행한 6년간의 전향적 추적 연구에 따르면, 아동이 5세일 때 보여준 작업 기억 능력은 IQ 검사 점수보다 향후 학업 성취도를 더 정확하게 예측했다. Friso-van den Bos의 2013년 메타분석 역시 기호적 작업 기억과 수학적 능력 사이에 매우 높은 양의 상관관계가 있음을 지적했다. 이는 수학이라는 학문에서 ‘기억력이 좋다’는 것 자체가 오랫동안 저평가되어 온 핵심 경쟁력임을 보여준다.

확장된 폰 노이만인가, 아직 탄생하지 않은 아인슈타인인가

물리학자 유진 위그너(Eugene Wigner)는 두 천재를 비교한 적이 있다. 존 폰 노이만은 번개 같은 계산 속도, 놀라운 기억력, 학문을 넘나드는 빠른 전이 능력을 가졌던 반면, 알베르트 아인슈타인은 깊은 통찰력과 문제 자체를 재구성하는 독특한 직관을 지니고 있었다. 이 좌표계를 AI 분야로 가져온다면, 현재 단계의 대형 언어 모델은 기계적 연산 능력으로 무한히 확장된 폰 노이만에 훨씬 가깝다.

대형 언어 모델은 거대한 기호 공간 안에서 전수 조사, 연관 짓기, 급속 검증을 수행하는 데 능숙하다. Hacker News 커뮤니티 토론에서 hibikir가 지적했듯, 이른바 ‘고지능적 성과’의 상당수는 본질적으로 주변 사람보다 더 많은 규칙 조합을 기억하고 있는 것에 불과하다. 그러나 전제를 근본적으로 바꾸거나 관점을 재정의해야 하는 문제에 직면했을 때, 거대한 컨텍스트 윈도우가 저절로 개념적 도약을 만들어내지는 못한다.

하나의 사고실험을 해보자. 두 사람이 동일한 고난도 수학 문제를 풀고 있다. 한 사람은 순전히 암산에만 의존하고, 다른 한 사람은 무제한의 종이, 완벽한 노트, 병렬 추론 능력, 그리고 자동 검증 도구를 갖추고 있다. 후자가 대회에서 승리했을 때, 우리는 그 승리를 지능의 본질적 승화라기보다는 인지 아키텍처의 우위 덕분으로 돌리곤 한다. 현재 AI가 보여주는 높은 수학 점수는 바로 이러한 공학적 인지 아키텍처가 중첩된 결과물이다.

기호 종이 위에서 AI의 경계를 다시 긋다

작업 기억이라는 핵심 차원을 바탕으로 우리는 AI의 능력 경계에 대해 훨씬 더 명확한 공학적 예측을 내릴 수 있다. 다중 제약 조건 간의 상호작용, 장기적인 단계별 계산, 방대한 케이스 분류 토론, 그리고 초기 도출 결과를 반복 참조해야 하는 작업에서 AI는 압도적인 효율성을 발휘한다. 작업이 정확한 기호 기록과 규칙 검증에 의존하는 한, AI는 거대한 컨텍스트 공간을 바탕으로 인간 전문가를 압도할 것이다.

반대로 컨텍스트가 매우 짧고 개념적 도약이 필요하거나 기존 틀을 깨야 하는 작업에서는 AI의 우위가 급격히 줄어든다. 이러한 차이는 ‘좋은 기억력’이 만들어낸 놀라운 결과를 모델이 스스로 진화하는 깊은 직관을 갖춘 것으로 오해해서는 안 된다는 점을 상기시킨다.

인지과학이 제공하는 시각은 AI 신화의 유행하는 서사를 해체할 뿐만 아니라, 인간 사고의 고유성을 다시 확립한다. AI는 수백만 토큰의 기억 공간으로 번잡한 기호 추적과 상태 유지를 떠맡았지만, 어느 방향으로 탐색할지, 문제를 어떻게 재정의할지는 여전히 세계의 본질에 대한 인간의 직관적 통찰에 달려 있다. 거대한 외부 기억이 더 이상 희소 자원이 아니게 될 때, 진정한 경쟁의 초점은 결국 연습장 위에 단순히 담길 수 없는 개념적 도약으로 돌아올 것이다.

참고 링크:

  • Davide Piffer 관찰 보고서 《AI Isn’t Outthinking Mathematicians. It’s Out-Remembering Them.》
  • Hacker News 커뮤니티 토론 (item?id=49312845)
  • Alloway & Alloway 학업 성과와 작업 기억 종단 연구 (2010)
  • Friso-van den Bos 기호적 작업 기억과 수학적 능력 메타분석 (2013)