Ein KI-Außenseiter unter 183 Spitzenentwicklern
In einem hochkarätigen Wettbewerb zur GPU-Kernel-Optimierung mit 183 Entwicklern wurden die vorderen Plätze fast ausschließlich von leitenden NVIDIA-Ingenieuren belegt. Dennoch sicherte sich der Entwickler sankalp, der erst seit knapp einem Jahr über Grundlagen der GPU-Programmierung verfügte, den 12. Platz. Seine Geheimwaffe für dieses herausragende Ergebnis im 14-tägigen Wettbewerb war das Sprachmodell Codex, das im Hintergrund mehr als 1.500 autonome Schleifen aus „Testen, Analysieren, Modifizieren und Verifizieren“ durchlief.
Die Aufgabe der Challenge bestand in der Implementierung einer gebündelten, quadratischen, kompakten Householder-QR-Zerlegung. Diese Matrixoperation ist für grundlegende mathematische Berechnungen von zentraler Bedeutung; beispielsweise nutzen LLM-Optimierungsalgorithmen wie Muon und Kimi verwandte Verfahren im Training.
1.500 automatische Commits: Autonomer Modus für die KI
Um Codex eine autonome Weiterentwicklung zu ermöglichen, baute sankalp ein lückenloses Performance-Evaluierungs- und Profiling-Framework für das Modell auf. Auf dieser Grundlage führte Codex während der 14 Wettbewerbstage über 1.500 Code-Commits durch. Die Ausführungszeit fiel kontinuierlich von der ursprünglichen Referenz torch.geqrf (ca. 419.000 Mikrosekunden, anfängliche Kernel-Referenz bei 108.803 Mikrosekunden) auf schließlich 1.805 Mikrosekunden, was eine 232-fache Leistungssteigerung bedeutete.
sankalp musste lediglich alle 2 bis 3 Stunden mit leichtgewichtigen Prompts die Ausführungsrichtung überprüfen, ohne den Ablauf zu unterbrechen. Über Nacht konnte das Modell sogar völlig unbeaufsichtigt weiterlaufen. Dies zeigt: Sobald große Sprachmodelle über eine starke Codegenerierung verfügen, können sie in Kombination mit einer ausgereiften automatisierten Testsuite extrem zeitaufwendige Code-Iterationen und Langzeittests eigenständig übernehmen.
Abbildung: Log von Codex beim autonomen Ausführen von Benchmark-Tests und Performance-Profiling im Hintergrund. Quelle: sankalp.bearblog.dev
Verlagerung des Engpasses: Warum die KI vor 1.800 Mikrosekunden stagnierte
Während des Optimierungsprozesses zeigte Codex eine klare Struktur evolutionärer Entwicklung. Der Code entwickelte sich von anfänglichen torch.geqrf-Aufrufen über geblockte WY-QR-Algorithmen, den Einsatz von Triton-Panels, den Austausch durch Cholesky-ORHR, CUDA-Graph-Bindings, Fusionsanordnungen, Split16-Panels und Spezialisierungen auf feste Matrizengrößen bis hin zu einer komplexen Kombination aus Super-Panels und benutzerdefinierten Cholesky-Zerlegungen.
Abbildung: Die 10-stufige algorithmische Strukturevolution, die die Kernel-Ausführungszeit von 108.803 Mikrosekunden auf 1.805 Mikrosekunden reduzierte. Quelle: sankalp.bearblog.dev
Als die Ausführungszeit jedoch in den Bereich von 3.000 bis 1.800 Mikrosekunden gedrückt wurde, führten reine Feinabstimmungen der Rechenbefehle zu keinen weiteren Durchbrüchen mehr. Der eigentliche Engpass der Optimierung verlagerte sich von der Rechenleistung der Hardware oder der Speicherbandbreite hin zu den GPU-Startkosten (launch overhead) und den Panel-Kosten (panel overhead).
An diesem kritischen Punkt geriet Codex in eine klassische Falle lokaler Optima. Das Modell nahm wiederholt kleine Korrekturen innerhalb der bestehenden Cdestruktur vor, ohne über Dutzende aufeinanderfolgende Iterationen hinweg wesentliche Geschwindigkeitsgewinne zu erzielen. Wenn die Optimierung in die tiefen Schichten der Ausführungssteuerung vordringt, neigt der stochastische Suchmechanismus großer Sprachmodelle dazu, sich in suboptimalen Zwischenlösungen festzufahren.
Beam of Candidates: Menschliche Navigation an den Richtungsentscheidungen
Um diese Blockade zu durchbrechen, passte sankalp seine Instruktionsstrategie für die KI an. Er führte den Mechanismus des „Candidate Beams“ (beam of candidates) ein, der das Modell anwies, gleichzeitig 3 bis 5 Kandidaten-Zweige aus verschiedenen Algorithmenfamilien aufrechtzuerhalten. Dies verhinderte, dass ein potenzieller technischer Ansatz wegen eines einzelnen Kompilierungsfehlers sofort verworfen wurde.
Abbildung: Anpassung der Suchrichtung bei der Algorithmenoptimierung von Codex durch geführte Dialoge. Quelle: sankalp.bearblog.dev
Durch diese Steuerung wurde Codex in völlig neue algorithmische Richtungen gelenkt und übernahm erfolgreich die Cholesky-ORHR-Architektur sowie Super-Panel-Optimierungen. Der Wert menschlicher Entwicklererfahrung liegt darin, bei Stagnation der lokalen Suche auf Basis von Domänenwissen einen Paradigmenwechsel einzufordern. Solche Richtungsentscheidungen auf Algorithmenebene bildeten die eigentliche Entscheidungskraft zur Überwindung von Engpässen im Mikrosekundenbereich.
Echo aus der Entwickler-Community: Die Realität hinter der Vollautomatisierung
Ähnliche Experimente zur automatisierten Forschung stoßen auch in der Entwickler-Community auf Resonanz. Der Entwickler Almondsetat nutzte DeepSeek v4 für eine automatisierte Optimierungsschleife bei Videocodecs und erzeugte innerhalb weniger Stunden parallele Befehlsimplementierungen für SSE und AVX, was die Einzelkern-Performance direkt verdoppelte.
Ein anderer Entwickler, poizan42, stützte sich auf Opus 5 beim Schreiben von NEON-Kerneln und erreichte auf einem Raspberry Pi 4 die Echtzeit-Transkodierung von 4K-HEVC-Videos. Allerdings räumte dieser Entwickler offen ein, dass der gesamte Optimierungsprozess nicht ohne umfangreiche manuelle Kurskorrekturen (steering) auskam.
Aus Sicht des Autors zeigen diese technischen Praktiken aus unterschiedlichen Bereichen ein einheitliches Muster. Im Zeitalter großer Sprachmodelle bietet die sogenannte „automatisierte Forschung“ eine enorme Ausführungseffizienz, bleibt jedoch hochgradig davon abhängig, dass Menschen die Grenzen und Dimensionen vorgeben. Ohne menschliche Orientierung fällt es der KI schwer, Schlüsselhürden der algorithmischen Evolution eigenständig zu überspringen.
Das Ziel erreichen nur diejenigen, die den Kurs bestimmen
Das Ergebnis der 232-fachen Beschleunigung demonstriert das wahre Potenzial automatisierter KI-Forschung. Codex übernahm den Großteil der mühevollen Routinearbeit – von der Analyse wissenschaftlicher Veröffentlichungen bis zum Debugging tiefster Kernel-Ebenen. Doch an jedem entscheidenden Knotenpunkt dieses 14-tägigen Marathons blieben die Richtungsentscheidungen des Menschen unersetzlich.
Große Sprachmodelle können heute Nächte durcharbeiten und Code-Tests ausführen, doch sie können noch immer nicht vorhersehen, welcher Pfad im Algorithmen-Labyrinth zum Gipfel führt. An der Front der technologischen Forschung ist die KI der unermüdliche Ausführende – während der Mensch weiterhin den Kompass in der Hand hält.
Referenzlinks:
- sankalp BEARBLOG Blogbeitrag
- HN Community-Diskussion (item?id=49309549)
