Im September 2026 erzielte der Einzelentwickler Mithil Vakde nach nur 1,5 Stunden Laufzeit auf einer einzigen RTX 5090 GPU ein Ergebnis von 44 % in der öffentlichen Evaluierung von ARC-AGI-1. Die Gesamtkosten für das Training beliefen sich auf lediglich 67 Cent. Mit einer einzigen Verbraucher-Grafikkarte und einer Rechnung von unter einem Dollar zog seine Lösung direkt mit den Ergebnissen führender spezialisierter Solver wie TRM und HRM gleich und ließ eine Vielzahl extrem teurer genereller LLMs hinter sich.
Das von François Chollet im Jahr 2019 vorgeschlagene ARC-AGI gilt seit langem als Maßstab für die Messung menschlicher abstrakter Schlussfolgerungsfähigkeiten, wofür die Community ein Kopfgeld von 1 Million US-Dollar ausgelobt hat. Ein seit sechs Jahren bestehender Branchenstandard wurde von einer Einzelperson auf der Grundlage einer fundamentalen Transformer-Architektur geknackt.
44 Prozent Ergebnis für 67 Cent
Das von Mithil Vakde erzielte Ergebnis von 44 % verdeutlicht die enorme Effizienz der Open-Source-Community bei kleineren Parametergrößen. Als die vorherige Version dieses Projekts veröffentlicht wurde, löste sie bereits öffentliche Diskussionen unter Spitzenforschern wie Lucas Beyer von Google DeepMind, Jeremy Howard von fast.ai und Rohan Anil aus. Ein von einer Einzelperson in einer hardwarebeschränkten Umgebung entwickeltes Modell spielte auf Augenhöhe mit den Top-Teams der Tech-Giganten.
Die Strategie großer Modelle, durch immensen Kapitaleinsatz und Datenanhäufung Skalierung zu erzwingen, zeigt beim Schlussfolgern aus wenigen Beispielen (Few-Shot Reasoning) deutliche Ermüdungserscheinungen. Führende spezialisierte Solver erfordern komplexe Architekturen und teure Rechenressourcen, während dieser Open-Source-Ansatz die gleiche Leistung für unter einen Dollar reproduziert. Das Anhäufen von Rechenleistung kann die Ineffizienz von Algorithmen bei spezifischen Aufgaben nicht verbergen; eine präzise Architekturanpassung erweist sich als weitaus durchschlagskräftiger als brutale Skalierung.
Abb.: ARC-1 Leistungsvergleich in der öffentlichen Evaluierung. Quelle: Mithil Vakde Blog
Entfernung von Schlüsselkomponenten halbiert die Punktzahl
Dieser Ansatz verlässt den Transformer-Rahmen nicht, sondern führt moderne Architekturkomponenten wie SwiGlu, RMSNorm, 3D-RoPE-Positionskodierung und den NorMuon-Optimierer präzise ein. In den vom Autor veröffentlichten Ablationsstudien stürzt die Punktzahl des Modells sofort von 44 % auf etwa 24 % ab, sobald 3D RoPE oder das Per-Task-Embedding entfernt werden.
| Konfiguration | Punktzahl |
|---|---|
| Vollständige Konfiguration (3D RoPE + Per-Task-Embedding) | 44 % |
| Ohne 3D RoPE | ca. 24 % |
| Ohne Per-Task-Embedding | ca. 24 % |
| Nur Basiseinstellungen | 18 % |
| Nur Ausgabe-Tokens trainiert (ggü. Vorversion) | 40 % → 44 % |
Kern der ARC-Aufgaben ist die Verarbeitung zweidimensionaler Gitter und Farbkanäle; 3D RoPE bildet diese mehrdimensionale Struktur perfekt ab. Auf spezifische Aufgaben zugeschnittene räumliche Positionskodierungen und Embedding-Mechanismen gleichen die Schwächen des Modells bei der lokalen Merkmalsextraktion präzise aus.
Diese Ablationsdaten belegen eines eindeutig: Die präzise Modellierung der Aufgabenstruktur ist wertvoller als das reine Anhäufen von Parametern. Das bei generellen LLMs übliche Brute-Force-Training über alle Parameter stößt bei hochabstrakten Schlussfolgerungsaufgaben an seine Grenzen. Eine tief in die Domain-Logik eingreifende Optimierung der Architektur ist der eigentliche Hebel für Spitzenleistungen.
Abb.: Ablationsstudie: Steiler Abfall ohne 3D RoPE und Per-Task-Embedding. Quelle: Mithil Vakde Blog
Hohe Forschungskosten schränken den Erkundungsraum ein
Mithil Vakde stellt die kühne Behauptung auf, dass große Sprachmodelle keinerlei Vorteil bei der Stichprobeneffizienz besitzen. Dass in den vergangenen sechs Jahren niemand diesen Weg auf ARC erfolgreich beschritten hat, lag nicht an unüberwindbaren technischen Hürden, sondern daran, dass immens hohe Experimentierkosten den Erkundungsraum für Forscher in Großlaboren einschränkten. Bei Trainingskosten von mehreren Tausend bis Zehntausend Dollar pro Lauf können große Teams keine Dutzenden oder Hunderte von Ablationsexperimenten durchführen – und entdecken so gar nicht erst, welche Architekturdetails für ARC-Aufgaben wirklich entscheidend sind.
Fehlversuchskosten von wenigen Cent ermöglichen es Einzelentwicklern hingegen, hochfrequent verschiedene Komponentenkombinationen zu testen. Jede noch so kleine Parameteranpassung lässt sich innerhalb von 1,5 Stunden überprüfen. Die von Großkonzernen mit Millionenbudgets aufgebaute allgemeine Leistungsfähigkeit wirkt unhandlich im Vergleich zu Einzelaufgaben, die dichtes Testen und punktgenaue Präzision erfordern.
Abb.: Vergleich der besten Ergebnisse anderer Ablationen. Quelle: Mithil Vakde Blog
Stichprobeneffizienz übernimmt die zweite Halbzeit
Wenn die Vereinigungsmenge gelöster Aufgaben über mehrere Durchläufe hinweg 55 % erreicht, schätzt der Autor, dass Transformer alleine eine Hürde von 65 % bei ARC erreichen können. Diese vollständig quelloffene Lösung mit allen Modellgewichten und dem Trainingscode erzielte auf Hacker News 546 Punkte und 146 Kommentare und entfachte in der Community Begeisterung für das Potenzial kleiner Modelle. Neben den bemerkenswerten Ergebnissen bei ARC-AGI-1 erreichte das Modell auch beim deutlich schwierigeren ARC-2-Test 7 %.
Die Replikation der Ergebnisse führender Forschungsteams für 67 Cent lässt die Millioneninvestitionen der Großkonzerne in einem zweifelhaften Licht erscheinen. Die Überlegenheit bei der Rechenleistung führt nicht direkt zu hohen Punktzahlen; die von der Open-Source-Community unter minimalem Mitteleinsatz gezeigte Stichprobeneffizienz ist die entscheidende Variable in der zweiten Halbzeit des KI-Wettbewerbs.
Referenzlinks:
- Mithil Vakdes Blog
- HN-Diskussion
- Lobsters-Diskussion
