2026년 9월 8일, OpenAI는 약 1만 개의 AI 에이전트를 동원해 90년 동안 미해결 상태였던 밀레니엄 수학 난제 중 하나를 해결했다고 발표했다. 그러나 이는 학계 전반의 전폭적인 축하를 받는 기술적 돌파구로 이어지지 못했다. 클레이 수학연구소(CMI)는 규정상 100만 달러 상금에 대한 공식 심사는 빨라야 2029년에나 시작될 수 있다고 즉각 선을 그었다. 한 세기 동안 풀리지 않던 명제가 막대한 연산 능력에 의해 단 5일 만에 무너졌지만, 인간 사회의 학술 검증 체계는 이러한 속도를 수용할 준비가 전혀 되어 있지 않다.
90년간 풀리지 않았던 유체역학 난제
2000년 5월 24일, 클레이 수학연구소는 7개의 밀레니엄 난제를 선정하고 각 문제에 100만 달러의 상금을 내걸었다. 나비에-스토크스 방정식은 그중 하나로, 고전역학의 핵심 축을 담당한다. 이 방정식은 유체 운동의 미시적 물리 법칙을 설명하며 항공기 공기역학 설계, 기상 예측, 인체 혈류 연구의 기반을 지탱한다. 1934년 프랑스 수학자 장 르레(Jean Leray)는 이 방정식의 해가 일반화된 의미(약해)에서 존재함을 증명했다. 그러나 3차원 비압축성 유체에서 유한한 시간 안에 유속과 와도가 무한대로 치솟는 ‘특이점(블로우업)‘이 발생하는지 여부는 90년 동안 미지의 영역으로 남아 있었다. 난이도는 극도로 높았다. 수학계는 3차원 유체의 급격한 변화를 추적할 분석 도구가 부족했기에 이 문제를 오랫동안 미해결 과제로 방치할 수밖에 없었다.
그림: 난류 분출의 위색 이미지. 나비에-스토크스 방정식은 바로 이러한 유체 운동을 기술하며, 핵심 난제는 유체가 유한 시간 내에 매끄러움을 잃는지 여부였다. 출처: Wikimedia Commons / C. Fukushima, J. Westerweel, 델프트 공과대학교
1,500만 달러의 연산 자원이 뚫어낸 돌파구
OpenAI는 연구 보고서 《On the Navier–Stokes Millennium Prize Problem》을 통해 미공개 내부 모델로 구동되는 약 1만 개의 AI 에이전트를 배치해 병렬 증명 탐색을 진행했다고 밝혔다. 전체 프로젝트는 9월 1일에 시작되어 불과 88시간 만에 후보 해를 도출했다. 이어 GPT-6 Astra가 17시간 동안 린(Lean) 환경에서 형식 검증 스크립트를 작성하고 컴파일을 완료했다.
프로젝트가 진행되는 동안 에이전트 간에 오간 메시지는 490만 건, 생성된 토큰 수는 3,000억 개에 달했다. 이 중 나비에-스토크스 증명 과정에서만 270만 건의 메시지와 1,300억 토큰이 소모되었다. 공개 API 가격 기준으로 환산하면 이번 연구에 투입된 연산 자원 비용만 약 1,500만 달러(약 200억 원)에 육박한다. 막대한 자원 투입이 논리적 추론의 성격을 근본적으로 바꾸어 놓았으며, 수학적 증명 과정은 연산 자원 집약적인 엔지니어링 경쟁으로 탈바꿈했다.
모델이 내놓은 결론은 명확했다. 부드러운 외력이 지속해서 작용하고 총에너지가 유한한 조건에서, 초기에 정지해 있던 매끄러운 유체라도 유한한 시간 안에 특이점을 발생시킬 수 있다는 것이다. 증명에서 제시된 해는 안쪽으로 나선형을 그리며 축 방향으로 길게 늘어나는 극도로 얇은 와류 구조를 형성한다. OpenAI는 보고서에서 이를 “스파게티”라는 비유로 표현했다.
기계가 생성한 코드는 린 환경에서 컴파일을 통과했지만, 이는 명제의 서술 형식이 공리 체계에 부합한다는 뜻에 불과하다. 정리가 수학적 의미에서 완벽하게 참임을 보장하지는 않으며, 증명 과정이 린 커널 자체의 잠재적 결함을 이용했을 가능성도 배제할 수 없다. 실제로 불과 5개월 전에도 형식 검증 프로젝트의 기저 결함으로 인해 잘못된 증명이 참으로 판정되는 위양성(false positive) 사례가 발생한 바 있다. 기계는 정답을 순식간에 쏟아낼 수 있지만, 증명의 진정한 유효성은 여전히 논리적 토대를 꼼꼼히 뜯어보는 인간의 사후 검증에 달려 있다.
그림: 증명에 나타난 와류 구조: 안쪽으로 나선형을 그리며 축 방향으로 늘어나고, 중심부가 수축하면서 계속 가속되지만 전체 에너지는 유한하게 유지된다. 출처: OpenAI
우선권 논쟁이 드러낸 연구 생태계의 새로운 취약점
이 난제의 해결 과정은 거친 우선권 다툼이라는 진흙탕 싸움으로도 번졌다. 뉴욕대학교(NYU) 트리스탄 벅마스터(Tristan Buckmaster) 교수와 앤스로픽(Anthropic) 소속 레벤트 알푀게(Levent Alpöge)는 1년 넘게 관련 연구를 진행해 왔으며, 8월 15일에 부시네스크 및 오일러 방정식에 대한 예비 결과를 도출한 상태였다. 9월 3일 업계 소문을 접한 벅마스터는 OpenAI 측에 직접 연락을 취했다. 사흘 뒤 OpenAI의 세바스티앙 부벡(Sébastien Bubeck)은 통화에서 공동 논문 작성을 제안했으나, 알푀게를 공저자 명단에서 제외해 달라고 두 차례 요구했다. 그 이유는 단지 그가 경쟁사에 근무한다는 것뿐이었다. 이러한 배타적 요구는 개방적인 학술 협력이라는 기본 원칙을 정면으로 훼손했다.
벅마스터는 요구를 단호히 거절하고 소통 기록을 공개했다. 이에 OpenAI는 성명을 내고, 9월 1일 소문을 듣고 비로소 긴급 프로젝트를 시작한 것이며 직접적인 경로로 상대방의 연구 내용을 입수한 적이 없다고 주장했다. 그러나 성명에는 여지를 남겨두었다. 사용자 상호작용에서 추출된 비식별화 데이터가 모델 성능 개선에 기여했을 가능성을 완전히 배제할 수는 없다고 밝힌 것이다. 비식별화 데이터가 어떠한 영감을 제공했는지는 현재 누구도 입증하거나 반박하기 어렵다.
‘누군가 문제를 풀었다는 소문’ 자체가 현대 연구 생태계에서 새로운 시스템적 취약점으로 부상했다. 개발자 사이먼 윌리슨(Simon Willison)이 지적했듯, 어떤 문제가 해결 가능하다는 사실을 아는 것만으로도 경쟁 연구팀이 수백만 달러의 연산 자원을 쏟아부어 결과를 선점하거나 재현하도록 자극하기에 충분하다. 연산 능력 경쟁은 수학 문제를 푸는 방식을 넘어 과학적 경쟁의 기본 규칙 자체를 바꾸고 있다.
의도적으로 속도를 늦춘 위원회의 심사 절차
이러한 공격적인 기술 시연 앞에서 학술 기관들의 반응은 지극히 냉담했다. 클레이 수학연구소가 9월 11일에 발표한 공지문에는 ‘OpenAI’라는 이름이 한 번도 언급되지 않았다. 연구소는 단지 해당 난제가 “해결된 것으로 보인다(apparently been settled)“라고 짤막하게 언급했을 뿐이다. 해커뉴스(Hacker News) 커뮤니티의 인기 댓글은 이 ‘apparently’라는 단어 하나에 학계 전체의 신중함과 회의감이 고스란히 담겨 있다고 꼬집었다.
연구소 공지는 심사 절차가 ‘의도적으로 서두르지 않도록’ 설계되었음을 분명히 했다. 규정에 따르면 연구 성과는 반드시 공인된 수학 저널에 동료 검토를 거쳐 공식 게재되어야 한다. 자체 웹사이트 게시나 아카이브(arXiv) 업로드는 심사 대상이 되지 않는다. 게다가 정식 논문 발표 후에도 최소 2년이 지나야만 클레이 연구소가 비로소 심사위원회를 구성하고 평가 절차를 밟는다. 이러한 일정을 고려하면 동료 평가가 일사천리로 진행되더라도 수상 자격을 갖추는 시점은 빨라야 2029년이다.
최근 필즈상 수상자 25명이 연대 서명한 공개서한이 발표되고 저명한 수학자 테렌스 타오(Terence Tao)가 관련 글을 공유하면서, 이번 사건의 파장은 단순한 개별 증명의 진위 여부를 넘어섰다. 학계 논의의 초점은 더 이상 특정 증명이 맞고 틀린지에 머물지 않는다. 산업화된 연산 자원의 시대에 누가 수학 문제를 정의할 자격이 있으며, 누가 진리를 판정할 권위를 갖는지에 대한 근본적인 질문으로 옮겨가고 있다. AI는 자연과학과 공학에서 가장 험난한 수학 난제를 5일 만에 뚫어냈지만, 상금 수여의 권한은 여전히 인간의 느리고 엄격한 합의 절차 안에 묶여 있다. 이러한 시차는 학술 공동체가 의도적으로 지켜온 방어 기제다. 기계가 출력해 낸 진리는 인간 사회가 이를 완전히 소화하고 이해할 수 있는 능력을 갖출 때까지 기다려야만 한다.
참고 링크:
- OpenAI On the Navier–Stokes Millennium Prize Problem
- Clay Mathematics Institute Announcement
- Tristan Buckmaster Public Statement
- Hacker News Discussion
- 25 Fields Medalists Open Letter
