Das Ende des Pelikan-Benchmarks: Warum KI-”Graduierung” noch kein echtes Verständnis ist

Am 2. August wurde einer der berühmtesten Tests in der Geschichte der KI-Bildgenerierung offiziell für beendet erklärt. Die Ankündigung stammte von Andrej Karpathy, dem ehemaligen KI-Direktor von Tesla und Mitbegründer von OpenAI. Seine Worte auf X lauteten: “Wir verlassen allmählich das Zeitalter, in dem wir KI mit der Aufgabe ‘Ein Pelikan auf einem Fahrrad’ testen.” Der Beitrag erzielte innerhalb von 24 Stunden über 2,74 Millionen Aufrufe und entwickelte sich auf Hacker News mit knapp 400 Punkten und über 300 Kommentaren zum meistdiskutierten Thema des Tages.

In den lebhaften Diskussionen dämpfte jedoch der Nutzer Morromist die Begeisterung: “Ich habe noch nie eine KI gesehen, die zuverlässig einen Pelikan auf einem Fahrrad zeichnen kann. Selbst bei den besten Ergebnissen findet man bei genauerem Hinsehen immer Fehler – beide Beine auf derselben Seite des Fahrrads oder zwei Schnäbel.”

Der Test wurde für abgeschlossen erklärt, doch in der Praxis scheitern die Pelikane weiterhin. Was steckt hinter diesem scheinbaren Widerspruch?

Was es mit dem “Pelikan-Test” auf sich hat

Ende 2024 dachte sich der Entwickler Simon Willison einen einfachen Test aus: Eine KI sollte ein Bild von einem “Pelikan auf einem Fahrrad” generieren. Was als scherzhafte Idee begann, entwickelte sich über zwei Jahre hinweg zu einem der bekanntesten informellen Benchmarks der KI-Community. Über 130 Artikel nutzten den Test als Referenz, und kaum ein neues Modell kam ohne diesen Test auf den Markt.

Warum ist diese Aufgabe so extrem schwierig? Eine Zerlegung des Prompts macht die Hürden deutlich: Ein Pelikan (Anatomie eines Vogels), ein Fahrrad (mechanische Konstruktion) und “darauf reiten” (räumliche Interaktion beider Objekte). Das Zusammenspiel dieser drei Komponenten überfordert Bildgeneratoren systematisch.

KI-Bildmodelle verstehen keine Physik; sie arbeiten über Mustererkennung. Das Modell hat Millionen von Bildern von Vögeln und Fahrrädern im Internet gesehen. Doch in der Menschheitsgeschichte gibt es kaum reale Fotos von Pelikanen auf Fahrrädern. Das Modell kann nicht einfach eine Vorlage kopieren, sondern muss zwei ihm vertraute Konzepte nach räumlichen Regeln spontan kombinieren. Und genau bei dieser synthetischen Kombination neuer mechanischer Interaktionen versagen Diffusionsmodelle: Während sie bekannte Szenen hervorragend imitieren, offenbaren sie gravierende Schwächen, wenn sie unbekannte Elemente gemäß physikalischen Gesetzmäßigkeiten zusammensetzen sollen. Es ähnelt jemandem, der noch nie Fahrrad gefahren ist und einen Radfahrer zeichnen soll: Mensch und Fahrrad sehen für sich genommen gut aus, aber Pedale, Kette und Lenker landen an völlig falschen Stellen.

Zwei Jahre Pannen und Kuriositäten

In den vergangenen zwei Jahren brachte die “Pelikan-Prüfung” eine beachtliche Sammlung von Fehlleistungen hervor: Pelikane, die mit beiden Beinen auf derselben Seite der Pedale traten (eine Haltung, die in der Realität nach Sekunden zum Sturz führt), Vögel mit zwei Schnäbeln, Räder ohne Speichen, frei schwebende Rahmen und Lenker, die im leeren Raum endeten.

Abb.: Das Ergebnis eines führenden Modells im Standardmodus. Der Pelikan fährt nicht Fahrrad, sondern schwebt darüber. Quelle: simonwillison.net

Kleinere Modelle lieferten beinahe abstrakte Kunstwerke ab: Zwei blaue Kreise, ein braunes Rechteck und ein orangeroter Klumpen mussten als “Pelikan auf dem Fahrrad” herhalten.

Abb.: Die Antwort eines extrem kleinen Modells auf dieselbe Aufgabe; Pelikan und Fahrrad sind kaum zu erkennen. Quelle: simonwillison.net

Noch Ende letzten Monats stellte Simon Willison beim Testen neuester Modelle fest, dass Pelikane im Standardmodus weiterhin schwebten und Fahrradrahmen auseinanderfielen. Erst als der Modus für “erweitertes Nachdenken” (Extended Thinking) aktiviert wurde, entstand eine brauchbare Darstellung. Kommentatoren merkten an, dass Claudes Pelikan-Darstellungen über einen Zeitraum von 18 Monaten keine spürbaren Fortschritte zeigten.

Warum also jetzt die “Graduierung”?

Karpathys Aussage bedeutet keineswegs, dass das Problem gelöst ist. Sie besagt vielmehr, dass die Aufgabe keine nennenswerte Trennschärfe mehr besitzt.

Der Wert eines Tests bemisst sich nach seiner Fähigkeit zu differenzieren. Wenn die gesamte Klasse 30 % erreicht, liefert der Test wertvolle Erkenntnisse über Wissenslücken; wenn jedoch alle 95 % erreichen, verliert die Prüfung ihre Aussagekraft. Der Pelikan-Test hat diesen Sättigungspunkt erreicht: Die meisten führenden Modelle können mittlerweile ein Bild erzeugen, das auf den ersten Blick akzeptabel wirkt. Die Debatte verlagerte sich von “Wer macht Fehler?” zu “Wessen Pelikan sieht schöner aus?” – womit ein Leistungstest zu einer reinen Geschmacksfrage wurde.

Aus diesem Grund schlug Karpathy eine völlig neue Aufgabe vor: Man gebe der KI den Einleitungstext von Der Herr der Ringe, statte sie mit 1 Million Denk-Tokens (Rechenkosten von ca. 10 US-Dollar) aus und lasse sie eine begehbare 3D-Szene programmieren. Die KI arbeitete 2 Stunden lang, schrieb 5.500 Zeilen Code und erstellte tatsächlich ein interaktives 3D-Hobbingen – inklusive Hintergrundmusik mit Tom Bombadils Lied. Karpathy scherzte: “Vorsicht, ‘GTA Hobbingen’ könnte noch vor GTA VI erscheinen.”

Abb.: Dasselbe Modell und dieselbe Aufgabenstellung nach Erhöhung der Denkintensität. Das Ergebnis unterscheidet sich drastisch vom obigen Standardmodus. Quelle: simonwillison.net

Hohe Punktzahlen sind kein Beweis für echtes Können

Hier verbirgt sich eine Falle, die leicht übersehen wird: Das Bestehen einer Prüfung ist nicht gleichbedeutend mit echtem Können.

Der erste Grund ist der “Prüfungs-Overfitting-Effekt”. Nachdem der Pelikan-Test zwei Jahre lang intensiv im Netz diskutiert wurde, flossen unzählige Beispielantworten in die Trainingsdaten der KI ein. Eine hohe Punktzahl könnte also schlicht auf Auswendiglernen zurückzuführen sein und nicht auf ein verinnerlichtes Verständnis von Raum und Mechanik. Das ist keine bloße Vermutung: Forscher testeten 7 führende Modelle mit 48 verschiedenen Kombinationen aus “Tier + Verkehrsmittel” (ein Flamingo auf einem Skateboard, ein Reiher auf einem Boot etc.). Das Ergebnis: Pelikane wurden keineswegs besser gezeichnet als andere Kombinationen. Wenn ein Modell tatsächlich räumliche Zusammenhänge verstanden hätte, warum sollte sich dieses Verständnis nur auf Pelikane beschränken? Das deutet stark darauf hin, dass speziell diese Aufgabe “einstudiert” wurde.

Der zweite Grund liegt darin, dass bei einem öffentlich bekannten Test “echter Fortschritt” und “Auswendiglernen der Lösung” in den Testergebnissen nicht mehr voneinander unterschieden werden können. Sobald Aufgabenstellungen breit zirkulieren, degradiert ein Leistungstest zu einem reinen Bekanntheitstest. Karpathys Wechsel zu neuen Aufgaben ist das eingeständnis, dass der Pelikan-Datensatz verunreinigt ist.

Der dritte Grund ist das Fortbestehen grundlegender KI-Schwächen. Karpathy räumte ein, dass die KI beim Erstellen von 3D-Szenen ihr eigenes Werk nicht direkt “sehen” kann. Sie prüft ihre Ergebnisse lediglich anhand von Screenshots und unterliegt dabei häufig Fehlinterpretationen. Diese Unfähigkeit zur visuellen Selbstkontrolle ist die eigentliche Ursache für das Pelikan-Debakel: Der KI fehlt die Rückkopplung, die ihr sagt, dass zwei Beine nicht auf dieselbe Seite gehören.

Was bedeutet das für Anwender?

Wenn Sie das nächste Mal KI-generierte Bilder betrachten – insbesondere solche mit komplexen Mechaniken, Bewegungsabläufen oder Interaktionen mehrerer Objekte –, lohnt sich ein genauerer Blick. Bei Landschaftsaufnahmen, Postern oder dekorativen Illustrationen ist die KI bereits äußerst zuverlässig. Doch bei Darstellungen, die präzises räumliches Verständnis erfordern – wie Radfahrer, Explosionszeichnungen oder technische Produktdetails –, verbergen sich die Fehler oft im Detail.

Vor zwei Jahren staunte die Fachwelt, dass KI selbst an einer so einfachen Aufgabe scheiterte. Zwei Jahre später wird nach der Graduierung des Tests darüber gestritten, ob KI überhaupt versteht, was sie zeichnet. Das eigentliche Vermächtnis der Pelikan-Ära ist die Erkenntnis: Prüfungsergebnisse können graduieren, wahres Verständnis jedoch erfordert kontinuierliche Hinterfragung. Der nächste Prüfer wartet bereits an der Tür.

Weiterführende Links:

• Karpathys X-Beitrag (Ankündigung der Pensionierung des Pelikan-Tests + 3D-Herr-der-Ringe-Demo)
• Hacker News Diskussion (“Karpathy’s Pelican”, knapp 400 Punkte, 300+ Kommentare)
• Simon Willison: pelican-riding-a-bicycle Tag-Seite (130+ Veröffentlichungen)
• Simon Willison: Kimi K3 und was wir aus dem Pelikan-Benchmark lernen können
• Dylan Castillo: Betreiben KI-Labore heimlich “Pelikan-Overfitting” (pelicanmaxxing)?