183명의 전문가 사이에서 부상한 AI 다크호스
183명의 개발자가 겨루는 최고 수준의 GPU 커널 최적화 경기장에서 상위권 참가자들은 대부분 엔비디아(NVIDIA) 수석 엔지니어들이었습니다. 그러나 12위를 기록한 개발자 sankalp의 GPU 프로그래밍 경력은 겨우 1년에 불과했습니다. 그가 14일간의 대회에서 뛰어난 성과를 거둔 무기는 대형 언어 모델 Codex가 백그라운드에서 1,500회 이상의 ‘테스트-분석-수정-검증’ 자율 루프를 실행하도록 만든 것이었습니다.
이번 경기의 과제는 배치 형태의 정방형 컴팩트 Householder QR 분해를 구현하는 것이었습니다. 이 행렬 연산은 하위 계층 계산에서 매우 중요하며, 예를 들어 LLM 최적화 알고리즘인 Muon과 Kimi의 학습 과정에서도 관련 기술이 활용되고 있습니다.
1,500회 자동 커밋: AI에 자율주행 모드를 탑재하다
Codex가 스스로 진화할 수 있도록 sankalp는 모델을 위한 빈틈없는 성능 평가 및 분석 프레임워크를 구축했습니다. 이를 바탕으로 Codex는 14일 경기 기간 동안 1,500회 이상의 코드 커밋을 진행했습니다. 테스트 벤치마크는 초기 torch.geqrf(소요 시간 약 419,000마이크로초, 초기 커널 기준 108,803마이크로초)에서 최종 1,805마이크로초까지 단축되어 최종적으로 232배의 성능 향상을 달성했습니다.
sankalp는 2~3시간마다 실행 흐름을 방해하지 않는 가벼운 프롬프트로 탐색 방향만 확인하면 되었으며, 야간에는 완전 무인 감독 상태로 모델을 지속해서 실행할 수도 있었습니다. 이는 대형 언어 모델이 강력한 코드 생성 능력을 갖춘 후 완벽한 자동화 평가 제품군과 결합하면 혼자서도 매우 과중한 하위 계층 코드 반복과 장기 테스트를 담당할 수 있음을 보여줍니다.
그림: Codex가 백그라운드에서 자율적으로 벤치마크 테스트 및 성능 분석을 실행하는 로그. 출처: sankalp.bearblog.dev
병목 현상의 이동: AI가 1,800마이크로초 장벽에서 멈춘 이유
최적화 과정에서 Codex는 명확한 구조적 진화 궤적을 보여주었습니다. 코드는 초기 torch.geqrf에서 블록 WY QR 알고리즘, Triton 패널 활용, Cholesky-ORHR 교체, CUDA graph 바인딩, 융합 조립, split16 패널, 고정 형상 특화로 이어졌으며, 최종적으로 슈퍼 패널과 사용자 정의 Cholesky의 복잡한 조합으로 진화했습니다.
그림: 커널 실행 시간을 108,803마이크로초에서 1,805마이크로초로 줄인 10단계 알고리즘 구조 진화 과정. 출처: sankalp.bearblog.dev
그러나 소요 시간이 3,000마이크로초에서 1,800마이크로초 구간으로 단축되면서 단순한 계산 명령어 미세 조정만으로는 돌파구를 마련할 수 없게 되었습니다. 이 시점에서 최적화의 핵심 병목은 더 이상 하드웨어의 계산 능력이나 메모리 대역폭이 아니라 GPU 론치 오버헤드(launch overhead)와 패널 오버헤드(panel overhead)로 이동했습니다.
이 결정적인 시점에서 Codex는 전형적인 국소 최적화 덫에 빠지기 시작했습니다. 모델은 기존 코드 구조 안에서 자잘한 수정만 반복할 뿐 수십 회 연속 반복에서도 실질적인 속도 향상을 가져오지 못했습니다. 필자가 보기에 최적화가 하위 스케줄링 메커니즘의 깊은 수역으로 들어설 때, 대형 언어 모델의 확률적 탐색 메커니즘은 차선책의 늪에서 벗어나지 못하고 방황하기 쉽습니다.
후보 빔 의사결정: 갈림길에서 인간이 제시하는 탐색 방향
이러한 경색 국면을 깨기 위해 sankalp는 AI에게 주는 지시 전략을 조정했습니다. 그는 ‘후보 빔(beam of candidates)’ 메커니즘을 도입하여 모델이 서로 다른 알고리즘 제품군에서 3~5개의 후보 분기를 동시에 유지하도록 요구했습니다. 이를 통해 단 한 번의 컴파일 오류로 잠재적인 기술 경로를 완전히 포기하는 것을 방지했습니다.
그림: 가이드형 대화를 통해 Codex의 알고리즘 최적화 탐색 방향을 조정하는 모습. 출처: sankalp.bearblog.dev
이러한 유도에 따라 Codex는 완전히 새로운 알고리즘 방향으로 이동했으며, Cholesky-ORHR 아키텍처와 슈퍼 패널 최적화를 성공적으로 채택했습니다. 인간 개발자 경험의 가치는 모델이 국소 탐색에 정체되어 있을 때 전문 지식을 바탕으로 AI에 패러다임 전환을 강제할 수 있다는 점에 있습니다. 이러한 알고리즘 수준의 방향 결정이 마이크로초 단위의 병목을 돌파하는 진정한 결정력이 되었습니다.
커뮤니티의 반응: 완전 자동화 뒤에 숨은 실제 성과
유사한 자동화 연구 실험은 기술 커뮤니티에서도 울림을 얻고 있습니다. 개발자 Almondsetat는 DeepSeek v4를 사용하여 비디오 코덱에 대한 자동 최적화 루프를 실행했으며, 불과 몇 시간 만에 SSE 및 AVX용 병렬 명령어 구현을 생성하여 단일 코어 성능을 두 배로 끌어올렸습니다.
또 다른 개발자인 poizan42는 Opus 5에 의존하여 NEON 커널을 작성하고 라즈베리 파이 4에서 4K HEVC 비디오의 실시간 트랜스코딩을 구현했습니다. 그러나 이 개발자 역시 전체 최적화 과정에서 상당한 양의 수동 방향 조작(steering)이 필수적이었다고 솔직하게 밝혔습니다.
필자의 관점에서 서로 다른 분야의 이러한 기술 실천은 일관된 법칙을 보여줍니다. 대형 언어 모델 시대에 이른바 ‘자동 연구’는 실행 측면에서 강력한 효율성을 발휘하지만, 여전히 경계와 차원에 대한 인간의 통제에 크게 의존하고 있습니다. 인간의 방향 안내가 없다면 AI가 스스로 알고리즘 진화의 장벽을 넘어서기는 어렵습니다.
결승선은 방향을 잡는 사람의 몫이다
232배의 성능 향상 성과는 AI 자동 연구의 진정한 잠재력을 보여주었습니다. Codex는 알고리즘 논문 조사부터 하위 커널 디버깅에 이르기까지 수고로운 작업의 대부분을 맡아 처리했습니다. 그러나 14일간의 마라톤에서 일어난 모든 핵심 기로마다 인간이 제시한 방향 선택은 여전히 대체할 수 없었습니다.
대형 언어 모델은 이제 밤새 코드 테스트를 실행할 수 있지만, 어떤 알고리즘 오솔길이 정상으로 이어지는지는 알지 못합니다. 기술 탐구의 최전선에서 AI는 발로 뛰는 실행자이며, 인간은 여전히 나침반을 쥐고 있는 항해사입니다.
참고 링크:
- sankalp BEARBLOG 블로그 게시글
- HN 커뮤니티 토론 (item?id=49309549)
