183名のトップエンジニアに挑んだAIダークホース
183名の開発者がしのぎを削る最高峰のGPUカーネル最適化コンテストにおいて、上位陣はほぼNVIDIAのシニアエンジニアで占められていた。しかし、12位に食い込んだ開発者sankalpのGPUプログラミング歴は、わずか1年足らずだった。彼が14日間の大会で優れた成果を収めた武器は、バックグラウンドで大言語モデルCodexに1,500回以上の「テスト-分析-修正-検証」の自律ループを実行させたことだった。
今回の課題は、バッチ化された正方コンパクトHouseholder QR分解の実装である。この行列計算は低レイヤーの数値計算においてきわめて重要であり、たとえばLLM最適化アルゴリズムであるMuonやKimiの学習プロセスでも関連技術が使用されている。
1,500回の自動コミット：AIに「自動運転」を搭載する
Codexに自律的な進化を行わせるため、sankalpはモデル向けに網羅的なパフォーマンス評価・プロファイリングフレームワークを構築した。これに基づき、Codexは14日間の会期中に1,500回以上のコードコミットを実施した。ベンチマークの実行時間は、初期の torch.geqrf（約419,000マイクロ秒、初期カーネル基準値は108,803マイクロ秒）から最終的に1,805マイクロ秒まで縮小し、最終的に232倍の高速化を実現した。
sankalpは2〜3時間おきに実行フローを妨げない軽量なプロンプトで方向性を確認するだけで済み、夜間は完全に無人監督の状態でモデルを連続稼働させることすらできた。これは、強力なコード生成能力を持つ大言語モデルが充実した自動評価スイートと組み合わされば、極めて負荷の高い低レイヤーコードのイテレーションと長時間のテストを単独で担えることを示している。
図：Codex がバックグラウンドで自律的にベンチマークテストとプロファイリングを実行するログ。出所：sankalp.bearblog.dev
ボトルネックの遷移：なぜAIは1,800マイクロ秒の壁で停滞したのか
最適化の過程で、Codexは明確な構造的進化の軌跡を見せた。コードは初期の torch.geqrf からブロック化WY QRアルゴリズム、Tritonパネルの採用、Cholesky-ORHRへの置換、CUDA graphバインディング、融合アセンブリ、split16パネル、固定形状への特化へと推移し、最終的にはスーパーパネルとカスタムCholeskyの複雑な組み合わせへと進化を遂げた。
図：カーネルの実行時間を 108,803 マイクロ秒から 1,805 マイクロ秒へと短縮した 10 段階のアルゴリズム構造進化プロセス。出所：sankalp.bearblog.dev
しかし、実行時間が3,000〜1,800マイクロ秒の領域まで短縮されると、単なる計算命令の微調整だけではブレイクスルーを起こせなくなった。この段階における最適化の核心的ボトルネックは、ハードウェアの計算能力やメモリ帯域から、GPUの起動オーバーヘッド（launch overhead）およびパネルオーバーヘッド（panel overhead）へと移行したのである。
この重要な局面で、Codexは典型的な局所最適解の罠に陥った。モデルは既存のコード構造の範囲内で細かい修正を繰り返すばかりで、数十回連続のイテレーションを経ても実質的な高速化をもたらさなかった。筆者の見解では、最適化が低レイヤーのスケジューリング機構という深水域に入った際、大言語モデルの確率的探索メカニズムは局所的な次善解の困境に固執しやすくなる。
候補ビームによる意思決定：分岐点における人間のナビゲーション
この膠着状態を打破するため、sankalpはAIに与える指示戦略を変更した。彼は「候補ビーム（beam of candidates）」メカニズムを導入し、異なるアルゴリズムファミリーから3〜5個の候補ブランチを同時に保持するようモデルに要求した。これにより、1回のコンパイルエラーによって有望な技術ルートが完全に破棄されるのを防いだのである。
図：対話形式の誘導によって Codex のアルゴリズム最適化探索の方向性を調整する様子。出所：sankalp.bearblog.dev
この誘導のもと、Codexはまったく新しいアルゴリズムの方向へと押し出され、Cholesky-ORHRアーキテクチャとスーパーパネル最適化の採用に成功した。人間エンジニアの経験価値は、モデルが局所探索で停滞した際、ドメイン知識に基づいてパラダイムシフトを強制的に実行させられる点にある。こうしたアルゴリズムレベルでの方向決定こそが、マイクロ秒単位のボトルネックを打ち破る真の決定打となった。
コミュニティの反応：全自動化の裏にある真の実力
同様の自動研究の試みは、技術コミュニティのあちこちでも共鳴を呼んでいる。開発者の Almondsetat は DeepSeek v4 を用いて動画コーデックの自動最適化ループを稼働させ、わずか数時間で SSE および AVX 向けの並列命令実装を生成し、シングルコア性能を倍増させた。
また別の開発者 poizan42 は Opus 5 に頼って NEON カーネルを記述し、Raspberry Pi 4 上で 4K HEVC 動画のリアルタイムトランスコードを実現した。しかし彼もまた、最適化プロセス全体において大量の手動によるステアリング（方向操作）が不可欠だったと率直に認めている。
筆者の目から見れば、異なる分野から得られたこれらの技術的実践は一貫した法則を示している。大言語モデル時代において、いわゆる「全自動研究」は実行面で圧倒的な効率を発揮するものの、境界や次元のコントロールは依然として人間の手に強く依存している。人間の方向指示がなければ、AIが自力でアルゴリズム進化の壁を越えることは容易ではない。
ゴールに達するのは舵を握る人間だ
232倍という高速化の成果は、AIによる自動研究の真のポテンシャルを証明した。Codexはアルゴリズム論文の調査から低レイヤー解読・カーネルのデバッグに至るまで、泥臭い作業の大部分を引き受けた。しかし、14日間にわたるマラソンの要所要所で下された方向性の選択において、人間の存在は最後まで不可欠だった。
大言語モデルは今や夜通しコードのテストを回し続けられるようになったが、山の頂へと続くアルゴリズムの小道がどれであるかをあらかじめ予知することはできない。技術探求の最前線において、AIは足元を支える忠実な実行者であり、人間は羅針盤を握るナビゲーターであり続ける。
参考リンク：
- sankalp BEARBLOG ブログ記事
- HN コミュニティ議論 (item?id=49309549)
