2026년 9월 8일, 해커뉴스 메인 페이지에 나란히 올라온 두 개의 게시물이 기술 생태계와 수학계를 뒤흔들었다. 하나는 OpenAI의 공식 발표였다. 연구소 내부의 최신 인공지능 모델을 활용해 지난 90년 동안 그 누구도 풀지 못했던 수학적 난제를 해결했다는 승전보였다. 다른 하나는 뉴욕대학교 수학과 교수인 트리스탄 벅마스터(Tristan Buckmaster)의 장문 성명서였다. 그는 OpenAI 팀과 접촉했던 전 과정을 시간 순서대로 상세히 공개하며, 거대 기술 기업이 아직 발표되지 않은 자신의 핵심 연구 성과를 부당하게 가로챈 것이 아닌지 정면으로 의혹을 제기했다.
수학계와 실리콘밸리를 동시에 뒤흔든 이 문제는 바로 나비에-스토크스(Navier-Stokes) 방정식의 해의 존재성과 매끄러움에 관한 문제다. 클레이 수학연구소가 2000년에 지정한 7대 밀레니엄 문제 중 하나로, 100만 달러의 상금이 걸려 있다. 쉽게 말해 이 방정식은 물과 공기와 같은 유체의 흐름을 설명하는 기본 물리 법칙이다. 비행기 날개를 스쳐 지나가는 난류부터 깊은 대양의 심층 해류에 이르기까지 모든 현상이 이 방정식의 지배를 받는다. 이 문제의 핵심은 자연계의 유체 흐름이 이론적으로 통제를 벗어날 수 있는가를 묻는 데 있다. 수학자들의 과제는 명확했다. 특정 극한 조건에서 유체를 기술하는 방정식이 붕괴하여 물리적으로 설명할 수 없는 ‘무한대’라는 특이점이 나타나는지 여부를 엄밀하게 증명하는 것이었다.
지난 90년 동안 수많은 석학들이 이 난제 앞에서 좌절했다. 이를 풀어내려면 방정식 이면에 숨겨진 구조를 포착하는 고도의 수학적 직관이 필수적이었다. 하지만 OpenAI가 공개한 접근법에서 천재적인 인간의 직관은 거대한 연산 자원과 컨베이어 벨트식 자동 추론 시스템으로 대체되어 있었다.
1만 개 에이전트의 88시간 질주: 90년 난제를 집어삼킨 연산력의 파상공세
OpenAI가 공개한 연구 자원 투입 내역은 압도적이다. 방정식을 공략하기 위해 연구소는 약 1만 개의 인공지능 에이전트를 동시에 가동했다. 가동을 시작한 뒤 88시간 동안 에이전트들은 밤낮없이 작동했다. 거대한 협업 네트워크처럼 맞물려 돌아가며 중간 추론을 교차 검증하기 위해 270만 건의 메시지를 주고받았고, 약 1300억 개의 출력 토큰을 소모했다. 논리적 무결성을 보장하기 위해 시스템은 형식 검증 언어인 Lean을 통해 코드 한 줄 한 줄을 점검하는 데 추가로 17시간을 쏟아부었다.
그림: 나비에-스토크스 방정식 공식 문제 서술. 출처: 클레이 수학연구소(claymath.org)
이는 지치지 않고 규정된 지침만을 철저히 따르는 1만 명의 수학과 대학원생으로 채워진 거대한 공장을 세운 것과 같았다. 올바른 방향만 제시된다면, 이 공장은 수학자들이 평생에 걸쳐 써 내려갈 초안 분량을 단 나흘 만에 전부 탐색해 버린다. 문제를 해결하는 과정에서 시스템은 100개의 에이전트를 따로 떼어내어 외력이 없는 오일러(Euler) 방정식의 정칙성 문제까지 50시간 만에 부수적으로 풀어냈다. 최종적으로 이 공장이 배출한 결과물은 100쪽에 달하는 엄밀한 증명 논문이었다.
거대한 연산 공장 앞에서 수개월이 걸리던 연구 주기는 단 며칠로 단축되었다. OpenAI의 모델이 놀라운 수학적 유도를 이끌어낸 것은 분명한 사실이다. 그러나 벅마스터 교수의 관점에서 볼 때, 이 거대 공장이 정확한 굴착 지점을 찾아낼 수 있었던 까닭은 유출된 설계도를 쥐고 있었기 때문이었다.
9월 1일부터 8일까지: 미발표 연구 초안은 어디로 향했는가
논쟁의 핵심은 보이지 않는 출발선에 있다. 벅마스터 교수는 앤트로픽(Anthropic)의 연구원 레벤트 알포게(Levent Alpöge)와 협력하여 수개월 전부터 거대언어모델을 보조 도구로 삼아 난제 해결에 착수했다. 두 사람은 방대한 선행 연구를 면밀히 검토한 끝에, 기존의 ‘거친 강제법(rough forcing)‘을 ‘매끄러운 강제법(smooth forcing)‘으로 확장하는 데 성공했다. 이는 전체 증명 경로에서 가장 넘기 힘든 이론적 장벽이었다. 8월 15일 결정적인 돌파구를 마련했고, 8월 22일에는 Lean 상에서 인공지능이 생성한 최초의 증명 검증을 완료했다. 벅마스터는 이를 두고 “지금껏 읽어본 수학 증명 중 가장 소름 돋는 결과”였다고 회고했다.
결승선을 눈앞에 둔 바로 그 순간, 외부로 소문이 새어 나가기 시작했다.
| 주요 시점 | OpenAI 공식 블로그 입장 | 벅마스터 교수의 공개 성명 |
|---|---|---|
| 8월 중하순 | 8월 28일 새 모델 학습 시작 | 8월 15일 핵심 진전 달성, 8월 22일 Lean 공식 검증 완료 |
| 9월 1일~3일 | 9월 1일 소문을 들은 뒤 본격 해결 착수 | 9월 3일 소문 확산, 연구 진전이 OpenAI에 도달했다는 정황 파악 |
| 9월 5일~6일 | 9월 5일 문제 최종 해결 | 9월 6일 양측 두 차례 통화, OpenAI 측 진술 수차례 번복 |
| 데이터 활용 여부 | 특정 사용자 데이터를 열람하지 않았다고 주장 | 프로젝트 내내 Codex에 초안 입력, 데이터 학습 여부 질문에 명확한 답변 회피 |
벅마스터 교수는 9월 6일 OpenAI 대표단과 진행한 두 차례의 통화 내용을 기록으로 남겼다. 통화 과정에서 OpenAI 측의 해명은 수차례 번복되었다. 초기에는 모델에 오직 문제 정의문만 입력했다고 주장했으나, 이후 연구팀 전체가 막대한 연산 자원을 동원했음을 인정했고, 첫 번째 프롬프트가 투입된 시점 역시 소문이 전해진 지 며칠 뒤였다고 실토했다.
연구 과정에서 Codex에 올린 미발표 연구 초안이 모델 학습이나 추론에 쓰였는지 묻는 질문에 대해 OpenAI의 공식 답변은 의혹을 키웠다. 공식적으로는 “특정 사용자의 데이터를 열람한 적이 없다”고 밝혔지만, “비식별화된 데이터가 모델 성능 개선에 기여했을 가능성은 배제할 수 없다”고 덧붙이며 말끝을 흐렸다. 이 두 개의 게시물은 해커뉴스 상에서 치열한 추천 경쟁을 불러일으켰다. 벅마스터의 고발 글은 1053점을 기록한 반면, OpenAI의 기술 발표는 1010점에 머물렀다. 개발자 커뮤니티의 관심은 증명의 수학적 세부사항이 아니라 시간표의 모순과 연구 데이터의 출처에 집중되었다.
소문만으로 대규모 연산이 동원되는 채굴의 시대
필즈상 수상자인 수학자 테렌스 타오(Terence Tao)는 이번 사태를 두고 다음과 같이 뼈아픈 평가를 내렸다.
“지금 진정으로 희소하고 가치 있는 것은 유망한 문제를 발굴하는 일입니다. 누군가 어떤 문제를 연구하고 있다는 소문만 돌아도, 대규모 AI 연산이 투입되어 그 문제를 단숨에 밀어버립니다.”
과거 수학자들은 연구실과 카페에서 설익은 아이디어를 자유롭게 토론하고, 칠판에 남겨둔 수학적 낙서를 나누며 영감을 키워나갔다. 이러한 비공식적인 교류는 창의성의 원천이었다. 그러나 나흘 만에 100쪽짜리 형식 증명을 뽑아내는 기계 장치 앞에서는, 어떤 사소한 소문조차 연산력을 앞세운 사냥꾼들을 불러들이는 신호탄이 되고 만다.
그림: 소용돌이의 안쪽 나선 및 축 방향 신장 모식도. 출처: OpenAI
미발표 초안이 클라우드 보조 도구에 입력되거나 유망한 증명 경로가 동료들 사이에 입소문으로 번지는 순간, 그것은 연구자의 통제를 완전히 벗어난다. 연산 자원이 넘쳐나는 시대에는 기계적인 증명 유도보다 올바른 해법의 길목을 찾는 통찰이 훨씬 값비싸다. 이제 독립 연구자들이 맞닥뜨린 상대는 동료 학자가 아니라 산업화된 정리 증명 코드 생성기와 거대한 서버 클러스터다.
”왜 스스로의 커리어를 망치려 하는가”: 거대 기업의 일방적 압박
이번 갈등에서 가장 씁쓸한 대목은 거대 빅테크와 개별 학자 사이에 놓인 극단적인 힘의 불균형이었다. 벅마스터 교수의 폭로에 따르면 OpenAI 내부 팀은 일방적인 타협안 두 가지를 제시했다. 첫 번째는 벅마스터가 상대적으로 간단한 오일러 방정식 결과를 먼저 발표하고 다음 날 OpenAI가 핵심인 나비에-스토크스 결과를 발표하는 방안이었다. 두 번째는 벅마스터가 나비에-스토크스 논문의 단독 저자로 이름을 올리는 대신, 앤트로픽 소속의 공동 연구자인 알포게를 저자 명단에서 완전히 배제하는 조건이었다.
OpenAI 측 관계자는 알포게가 경쟁 기업에 근무하지만 않았어도 모든 일이 원만하게 풀렸을 것이라는 속내를 숨기지 않았다. 벅마스터가 동료를 배제하라는 부당한 요구를 거절하자, 상대방은 노골적인 위협을 쏟아냈다. “왜 스스로의 커리어를 망치려 하십니까?”, “당신이 정중하게 대화하길 원치 않는다면, 나 역시 정중하게 대할 필요가 없습니다.”
이러한 고압적인 태도는 최첨단 연산 자원을 독점한 권력이 얼마나 오만해질 수 있는지를 적나라하게 드러낸다. 심오한 수학 정리의 발견이 이제는 경쟁사를 견제하고 힘을 과시하기 위한 기업의 체스 말로 전락한 것이다.
학계의 신뢰와 학문적 공유가 연산 채굴기와 충돌할 때
100만 달러의 상금이 걸렸던 이번 사건이 바꾼 것은 유체역학의 역사만이 아니다. 벅마스터 교수는 이를 수학계의 ‘딥블루 모멘트’라고 불렀다. 그것은 전통적인 학술 연구 체계에 회복하기 힘든 균열을 냈다. 학자가 수개월 동안 피땀 흘려 개척한 지적 탐색의 경로가 주말 사이에 인공지능에 의해 추적당하고 순식간에 추월당해 버렸다. 연구를 검증하고 다듬으며 성과를 인정받을 수 있었던 시간적 완충 지대는 완전히 증발했다.
커뮤니티에서는 수학자들끼리 가짜 증명에 대한 헛소문을 흘려 OpenAI가 수백만 달러의 연산 비용을 태우며 막다른 골목을 파헤치도록 유도하자는 뼈 있는 농담까지 나왔다. 이러한 씁쓸한 유머 뒤편에는 연산 패권 앞에서 연구자들이 느끼는 깊은 무력감이 자리 잡고 있다.
OpenAI가 증명한 수학적 세부사항은 머지않아 대중의 기억 속에서 흐려질 것이다. 하지만 이번 사태가 남긴 뚜렷한 상흔은 지워지지 않는다. 이제 발표되지 않은 채 진행 중인 학술 연구는 거대한 연산 자원이 강제로 채굴할 수 있는 ‘무방비 상태의 광산’이 되었다. 거대한 연산 채굴기는 미세한 소문의 단서만 포착해도 하룻밤 사이에 금광 전체를 파헤쳐 버린다. 수백 년 동안 인류의 위대한 발견을 이끌어온 개방적인 학문 공유의 전통은, 무자비한 연산 채굴의 파도 앞에서 종말을 고하고 있다.
참고 링크:
- OpenAI 공식 블로그
- 벅마스터 교수 공개 성명 (cims.nyu.edu)
- HN 토론 (item?id=49605915)
- HN 토론 (item?id=49613262)
