2026년 7월 15일, Reddit 수학 게시판에 평범한 제목의 글이 하나 올라왔다. 대략 이런 내용이었다. “OpenAI의 CDC 추측 증명 방식을 보고 GPT-5.6으로 한번 시도해 봤는데, 30년 된 빈틈을 메웠다.”
사흘 뒤, 이 글은 Hacker News에서 477점과 308개의 댓글을 받았다. Lean 코드를 줄줄이 읽어본 수학자들의 반응은 놀랍도록 일치했다. “이번에는 진짜 수학적 기여다.”
필자가 논의를 훑어보고 느낀 충격은 이런 점이었다. 이 일은 인간 수학자조차 특히 까다로워하는 과제——하한 증명——를 건드렸다는 것이다. 그리고 GPT-5.6은 프롬프트 하나, 148분 만에 그 일을 해냈다.
무슨 일이 있었나: 프롬프트 하나, 148분, 30년 된 빈틈
Phillip Kerger는 UC Berkeley의 응용수학 조교수로, Johns Hopkins에서 최적화 이론으로 박사 학위를 받았고 이전에 NASA 양자 인공지능 연구소에서 연구한 경력이 있다. 작년부터 그는 하나의 문제를 간헐적으로 파고 있었다——1996년부터 미해결 상태였던 볼록 최적화 분야의 복잡도 빈틈.
간단히 말하면, 1996년에 누군가 설계한 알고리즘의 복잡도는 \(O(d^2 \log^2 d)\)였다. 모두가 \(O(d)\)보다 더 좋을 수 없다는 것은 알고 있었다(적어도 각 차원을 한 번씩은 봐야 하므로). 하지만 \(O(d)\)에서 \(O(d^2 \log^2 d)\) 사이의 30년 공백은 아무도 메우지 못했다——정말 더 빨라질 수 있는 것인지, 아니면 그 오래된 알고리즘이 이미 한계에 도달한 것인지.
Kerger는 이전에 GPT-5.4와 GPT-5.5로 시도했지만 모두 실패했다. 올바른 함수족으로 모델의 방향을 직접 잡아주었음에도, 모델은 마지막 몇 단계를 채우지 못했다.
그러다 GPT-5.6이 나왔다.
그는 OpenAI가 몇 주 전 발표한 “순환 이중 덮개 추측(cyclic double cover conjecture)” 증명 프롬프트의 구조를 참고해 약 10쪽 분량의 프롬프트를 작성했다——수학적 설정, 가능한 증명 경로들을 나열하고, 자신이 이전에 실패했던 시도들의 경험을 집어넣었으며, 어떤 결과가 유효한 해가 아닌지도 명확히 정의했다. 그는 먼저 GPT-5.6의 도움을 받아 관련 문헌을 정리하고 프롬프트의 논증 틀을 다듬은 뒤, 연속된 세션에서 최종 버전을 모델에 넣었다.
148분 후, GPT-5.6은 완전한 증명 구성을 뱉어냈다.
이미지 출처: Unsplash / GuerrillaBuzz — 볼록 최적화 방법들의 수렴성 도해. GPT-5.6이 증명한 것은 하한 곡선을 더 이상 낮출 수 없다는 것, 즉 1996년의 그 오래된 알고리즘이 이론적 한계에 이미 닿아 있다는 것이다.
결과는 이렇다. \(\Omega(d^2 / \log(d+1))\)의 하한과 기지의 상한 \(O(d^2 \log^2 d)\) 사이에는 로그 인자만큼의 차이만 있다. 이는 “그 30년 된 알고리즘보다 훨씬 빠른 방법이 존재한다”는 가능성을 배제한다.
왜 “하한 증명”이 훨씬 어려운가: 달리기 비유로
이 일의 무게를 이해하려면 먼저 일상적인 비유를 하나 들겠다.
상한 증명은 당신이 100m를 뛸 수 있다는 것을 증명하는 것과 같다——한 번 뛰어서 스톱워치를 누르면 결론이 성립한다.
하한 증명은 당신이 더 빨리 뛸 수 없다는 것을 증명하는 것과 같다——그러려면 가능한 모든 훈련 방법을 배제해야 한다. 신발을 바꾼다? 소용없다. 출발 자세를 고친다? 소용없다. 특별한 식단을 한다? 역시 소용없다. “당신은 9초 안으로 들어갈 수 없다”는 결론이 성립하려면, 상상 가능한 모든 방식을 다 훑어서 하나하나 효과가 없음을 증명해야 한다.
수학에서 상한 증명(“내가 방법을 하나 찾았고, 적어도 이 정도는 된다”)은 상대적으로 쉽다——알고리즘을 제시하고 복잡도를 계산하면 끝이다. 하지만 하한 증명(“그것보다 빠른 방법은 존재하지 않는다”)은 가능한 모든 알고리즘을 제약해야 한다. 당신은 증명해야 한다. 다른 사람이 새 알고리즘을 어떻게 설계하든, 어떤 기술을 쓰든, 얼마나 돌아가든——모두 소용없으며 한계는 여기에 있다.
그래서 HN의 _alternator_라는, 스스로 “이 분야를 어느 정도 안다”고 한 댓글자가 이렇게 말한 것이다.
“Proving an upper bound is easy, it’s just how long your algorithm takes. Proving a nontrivial lower bound is much harder because it requires you to bound all possible algorithms.”
그리고 GPT-5.6이 이번에 해낸 일은 바로 후자다. 그것이 Kerger가 만든 알고리즘이 좋다는 것만 증명한 게 아니다——그 1996년의 오래된 방법이 이미 이론적 천장에 닿아 있다는 것을 증명한 것이다. 30년 동안 아무도 “어쩌면 더 나은 방법이 있을지도 모른다”는 가능성을 배제하지 못했는데, GPT-5.6이 148분 만에 그것을 배제했다.
수학을 하는 AI, 두 가지: 이제는 구분하자
AI가 수학을 한다고 할 때, 두 가지를 구분할 필요가 있다. 겉보기엔 비슷해도 본질은 완전히 다르다.
첫째, AI 보조 추측. 이는 몇 년째 일어나고 있는 일이다. 연구자가 모델에게 기지의 결과들 사이에서 패턴을 찾게 하고, “가망 있어 보이는” 추측을 몇 개 만들게 한 뒤 인간이 검증한다. 모델이 “이 부등식은 성립할 것 같다”고 하면, 인간이 종이펜이나 컴퓨터로 확인한다. 이 상황에서 AI는 아주 똑똑한 조력자지만, 최종 판단권은 인간에게 있다.
둘째, AI가 엄밀한 증명을 독립적으로 완성——그리고 형식 검증을 통과. 이번에 GPT-5.6이 한 일이다. 모델은 “그럴싸해 보이는” 논증을 출력하는 데 그치지 않고, 그 논증이 Lean 4——수학 증명 보조 시스템——로 통째히 번역되어 줄줄이 컴파일을 통과했다. Lean은 “자명하다” “쉽게 보인다” 같은 수사를 받아들이지 않는다. Lean의 세계에서는, 모든 단계의 논리가 흠잡을 데 없어야 하고 그렇지 않으면 그냥 에러가 난다. 중간 지대는 없다.
Kerger는 증명 전체의 Lean 코드를 GitHub에 올렸다. elan이라는 버전 관리자를 설치하고 저장소를 클론한 뒤 lake build 한 줄을 돌리면, 컴파일러가 처음부터 끝까지 에러 없이 도는 것을 직접 볼 수 있다. 그리고 #print axioms를 돌려 sorryAx(Lean에서 “이 단계는 아직 못 증명함”을 뜻하는 자리표시자)가 없는지 확인하면——논리적 사슬 어디에도 빈틈이 없다는 뜻이다.
Kerger의 36쪽짜리 예인본, 완전한 프롬프트, 모델 대화 기록, Lean 코드, 빌드 설명——모두 공개되어 있다. 이 공개 수준은, 감사의 말에 “AI 시스템의 조력을 thank” 한 줄 정도로만 언급하는 논문들보다 한참 높다.
이미지 출처: Unsplash / Bozhin Karaivanov — Lean 증명 보조 시스템의 코드 화면. GPT-5.6의 증명은 Lean 4로 통째히 번역되어 컴파일을 통과했고, 논리 사슬 어디에도 sorry(미증명 단계)가 없다.
공정하게 말하자면: 비판적 목소리도 들을 가치가 있다
필자는 이 글을 “AI가 인간을 압도하다”는 식의 자극적인 글로 쓰고 싶지 않다. r/math와 HN에는 합리적인 의문이 적지 않게 올라왔는데, 전모를 이해하는 데 이 목소리들은 중요하다.
첫째, 분야가 확실히 니치하다. 여러 댓글자가 지적하듯, 이 볼록 최적화 하한 문제는 OpenAI가 이전에 해결한 “순환 이중 덮개 추측”만큼 유명하지 않다. 후자는 50년간 그래프 이론에 걸려 있던 이름난 문제지만, 이 하한 추측은 상대적으로 작은 최적화 이론 커뮤니티에서 주로 다뤄진다. 학술적 가치는 진짜지만 “대중적 확산”의 정도는 제한적이다.
둘째, 전이 가능성에 의문. 하한을 증명하는 데 필요한 추론 패턴——가능한 모든 알고리즘을 제약하는 것——은 확실히 난도가 높은 범주이고, GPT-5.6이 여기서 능력을 보여줬다. 하지만 이 능력이 볼록 최적화에서 다른 수학 분야로 옮겨갈 수 있을지는 아무도 모른다.
셋째, 선취권 논란. r/math 논의에서 누군가 1990년대 러시아어 최적화 문헌을 뒤적이며, Kerger 증명의 핵심 보조정리가 이미 소련 수학자에 의해 발표되었을지 모른다고 의심했다. 다만 서방 데이터베이스에 잘 수록되지 않는 저널에 실렸을 뿐이라고 한다. 이 점이 확인되면, GPT-5.6의 기여는 “거의 잊힌 문헌에서 논증을 재구성하고, 그 누구도 해보지 않은 방식으로 형식화했다”는 것이 된다. 두 기여의 무게는 다르다.
넷째, “148분”이 전부가 아니다. Kerger는 이 문제에 1년 넘게 간헐적으로 매달려 왔다. 그 10쪽짜리 프롬프트에는 문제에 대한 그의 이해와 실패한 시도들, 배제한 막다른 골목들이 들어 있다. GPT-5.6 이전에 GPT-5.4와 GPT-5.5도 같은 문제에서 실패했다. 148분은 마지막 끊임없는 증명 탐색——제로에서 시작한 마법이 아니다. RuntimeWire의 보도가 말했듯, “프롬프트 안에는 1년 치 분야 작업이 들어 있다.”
이미지 출처: RuntimeWire / Gemini — AI가 생성한 수학 증명 흐름 삽화. 기억해야 할 것은, 프롬프트 뒤에 1년 치 분야 축적이 있고 148분은 마지막 단계의 탐색 시간일 뿐이라는 점이다.
진짜 중요한 것은 이 작업 방식이다
논란은 잠시 놔두고, 필자가 이 일에서 가장 주목할 만하다고 보는 것은 그 구체적인 정리 그 자체가 아니다.
사람 + AI + 형식 검증이라는 삼각 워크플로가, 재현 가능하다는 것이 증명된 것이다.
Kerger의 방식은 분명하다. 큰 문제를 작은 보조정리로 쪼개고, 각 보조정리를 먼저 Lean의 엄밀한 문장으로 번역한 뒤 모델에게 증명을 채우게 한다. 어떤 보조정리가 컴파일되지 않으면 그걸 따로 반복한다——한 곳의 변경 때문에 증명 전체를 처음부터 다시 쓰는 일은 없다. 이 흐름은 당신이 필즈상 수상자가일 필요가 없다. 문턱은 이렇다. 당신이 자신의 문제를 정확히 정의할 수 있어야 한다.
다시 말해, AI가 “중간 난도”의 수학 문제를 먹어 치우는 길에, 이미 쓸 수 있는 레시피가 생겼다. 이게 수학자를 실직시키지는 않는다——문제를 정의하고, 프롬프트를 짜고, 출력이 헛소리인지 판단하는 일은 당분간 여전히 인간이 해야 한다. 하지만 그것은 수학 연구의 일상을 바꿀 것이다. 연구자는 점점 더 감독관 같아지고, AI는 점점 더 실행 팀 같아진다.
한 HN 댓글자가 직설적으로 말했다. 이런 논의를 읽을 때는 때로 천문학적 암호를 읽는 기분이 든다고. 하지만 용어에 겁먹지 말라——이 일의 본질은 단순하다. 30년 동안 인간은 알고리즘이 얼마나 빨리 돌 수 있는지 알았지만, “이것이 한계다”라고 말하기는 꺼렸다. 한 AI가, 한 사람이 1년간 쌓은 인도 하에, 148분 만에 “이것이 한계다”를 증명했다. 그리고 Lean이라는 다른 기계가 그 숙제를 줄줄이 점검해, 지름길을 치지 않았음을 확인했다.
이것이 2026년의 수학 최전선이다——사람과 AI와 증명 컴파일러가 하나의 프로젝트 팀에서 함께 일하기 시작한 것이다.
참고 링크:
- Reddit r/math: After OpenAI’s CDC proof announcement, GPT-5.6 used a prompt to close a 30-year gap in convex optimization
- HN 논의 (item?id=48957779)
