Im Juni 2026 baute ein Ingenieur namens Ryan Findley in seinem Keller Googles neu veröffentlichtes Großmodell Gemma 4 (26 Milliarden Parameter) in einen 2013 produzierten alten Server ein – ohne Grafikkarte, ohne KI-Beschleuniger, rein über zwei veraltete Intel-Xeon-CPUs. Das Ergebnis: 5 Tokens pro Sekunde.
Ja, Sie haben richtig gelesen. 5 Tokens. In der Zeit, in der Sie diesen Satz lesen, hat es gerade das nächste Wort ausgegeben.
Doch der Rechner lief. Auf HN erhielt er 209 Upvotes und 139 Kommentare. Der Punkt, der alle begeisterte, war: Kann veraltete Hardware die neueste KI tatsächlich betreiben?
Wie alt ist dieser Rechner?
Sehen wir uns zunächst die Ausstattung dieses „alten Knackers“ an. Es war ursprünglich ein HP-Speicherserver – damals von Unternehmen speziell zum Ablegen von Dateien gekauft, konzipiert zum „Festplatten einbauen“, nicht zum „Rechnen“. Zwei Xeon-E5-2690-v2-CPUs aus dem Jahr 2013, der Arbeitsspeicher noch der vorvorletzten Generation im DDR3-Standard. Das ganze System kostet auf dem Gebrauchtmarkt heute unter 300 US-Dollar (etwa 2000 Yuan).
Entscheidender ist jedoch, dass ihm ein Befehlssatz fehlt, den so gut wie alle modernen KI-Programme als gegeben voraussetzen – AVX2. Dies ist eine Gruppe von Beschleunigungsbefehlen, die Intel erst 2014 in die CPU integrierte und die speziell für umfangreiche Vektoroperationen zuständig ist. Ohne sie ist es, als ließe man einen Grundschüler, der nur einstellige Zahlen addieren kann, Integralrechnung lösen: Rechnen kann er es zwar, aber jeder Schritt muss in unzählige kleine Schritte zerlegt werden.
Auch der ursprüngliche Autor scheiterte zunächst. Er versuchte die Methode eines anderen Tech-Bloggers, der sie auf einem Xeon von 2016 zum Laufen gebracht hatte – das Programm stürzte sofort ab. Mit seinen eigenen Worten: „Es läuft nicht.“
Wie lief es also?
Hier gibt es ein Detail, das möglicherweise der faszinierendste Teil der ganzen Geschichte ist.
Der Autor ist kein C++-Programmierer. Er versteht die dicht gedrängten Vektorbefehle im Low-Level-Code nicht. Aber er tat etwas: Er gab die Fehlermeldung dem KI-Assistenten Claude und fragte: „Warum stürzt es ab?“
Claude las den fremden Code, diagnostizierte die Ursache – seine CPU war eine Generation älter als die des anderen und verfügte nicht über den AVX2-Befehl, und im Code gab es zwei entscheidende Rechenpfade, die hartcodiert „nur mit AVX2 möglich“ vorschrieben. Noch schlimmer: Diese beiden Pfade wurden stillschweigend übersprungen – das Programm schien normal zu laufen, aber die Ausgabe war bereits ein einziges Durcheinander. Claudes Beschreibung dieses Phänomens ist bemerkenswert: „Das Modell gab Thai, Koreanisch, unsinnige Zeichen und englische Fragmente mit gleicher Freude aus.“ Es war wie ein Mensch mit vernebeltem Verstand – es sagte alles Mögliche, aber nichts davon stimmte.
Dann tat der Autor etwas noch Bemerkenswerteres: Er ließ Claude die beiden Code-Abschnitte umschreiben und wandelte die harte Vorgabe „muss AVX2 haben“ in „nutze es, wenn vorhanden, andernfalls gehe in den langsamen Ausweichpfad“ um. Nach drei Patches verwandelte sich das Modell von einem unleserlichen Durcheinander in klare, flüssige englische Antworten.
Im gesamten Prozess spielte der Autor die Rolle des „Experimentators“ und „Richters“ – Tests ausführen, Ausgaben betrachten, beurteilen, „ist dieses Ergebnis korrekt“. Den Code selbst änderte eine andere KI auf einem anderen Rechner.
Eine KI reparierte den Code einer anderen KI auf alter Hardware. Eine CPU von vor dreizehn Jahren und ein vor wenigen Monaten veröffentlichtes Modell fanden durch den Vermittler zueinander.
Langsam, aber ausreichend
Was bedeutet 5 Tokens pro Sekunde? Die kostenpflichtige Version von ChatGPT gibt üblicherweise 30 bis 60 Tokens pro Sekunde aus, in Spitzenzeiten über 100. 5 Tokens entsprechen in etwa der Geschwindigkeit, mit der Sie in der U-Bahn entspannt einen Artikel lesen.
Für den Alltagschat reicht das sicher nicht. Während Sie auf eine Antwort warten, können Sie sich einen Tee aufbrühen. Aber der Autor nennt einige praktische Szenarien: eine Ausweichlösung, wenn die kostenpflichtige API (Programmierschnittstelle) ausfällt; oder das Ausführen von zeitunkritischen Stapelaufgaben – etwa ein Dokumentenpaket über Nacht bearbeiten lassen und morgens das Ergebnis prüfen. In diesen Szenarien ist die Langsamkeit kein Problem, sondern ob es überhaupt läuft.
In der HN-Community äußerte jemand eine optimistischere Prognose: Bis Mitte 2027 könnten Großmodelle mit über 200 Milliarden Parametern auf gewöhnlichen Consumer-Geräten laufen. Kritiker weisen darauf hin, dass viele Parameter nicht gleichbedeutend mit hoher Leistungsfähigkeit sind und stark komprimierte Modelle Qualitätseinbußen erleiden. Aber der Konsens auf beiden Seiten ist klar: Großmodelle sinken aus der Cloud nach unten, und zwar schneller, als die meisten erwarten.
Extrem teure GPUs gegen veraltete CPUs
In den letzten zwei Jahren gab es in der KI-Welt eine unausgesprochene Gleichung: KI betreiben = Grafikkarte kaufen = Geld verbrennen. Eine einzige Nvidia-H100-Beschleunigerkarte kostet 30.000 bis 40.000 US-Dollar, und Unternehmen kaufen sie hundert- oder tausendfach. Die Eintrittskarte zur KI hat einen festen Preis.
Aber dieser Blogbeitrag öffnet ein anderes Fenster. Ein 300-Dollar-Schrotthaufen, ohne jeglichen Beschleuniger, betreibt trotzdem ein 26-Milliarden-Parameter-Großmodell. Es ist keine Ersatzlösung – 5 Tokens pro Sekunde liegen weit entfernt von der Geschwindigkeit und Qualität von Cloud-Diensten. Es ist eher ein Existenzbeweis: Er belegt, dass die Hürde nicht so hoch ist wie gedacht, und dass die Aussage „du musst die neueste Hardware besitzen“ keine absolute Wahrheit ist.
Diese Spannung zieht sich durch die gesamte Diskussion. Auf der einen Seite das Cloud-KI-Imperium, gestützt auf extrem teure GPUs – schnell, mächtig, teuer; auf der anderen der alte Server im Keller – langsam, unbeholfen, aber kostenlos. Es stürzt nichts um und ist auch keine Revolution, aber es löst die KI vorübergehend aus der Standardoption „kostenpflichtiges Abo“ heraus und zeigt eine andere Möglichkeit.
Was hat das mit uns zu tun?
Sie werden wohl kaum einen dreizehn Jahre alten Server kaufen, um zu Hause KI zu betreiben. Aber das eigentliche Signal, das dieser Blogbeitrag sendet, hat wenig mit dem 300-Dollar-Preisschild zu tun.
Wirklich beachtenswert ist der Prozess selbst, der den 13 Jahre alten Rechner wieder zum Leben erweckte. Ein Mensch, der keinen Low-Level-Code schreiben kann, las mit Hilfe einer anderen KI den Code eines Fremden, lokalisierte einen extrem tief verborgenen Fehler und schrieb einen Patch. Das ist keine „Ein-Klick-Reparatur“-Magie – der Autor führte wiederholt Experimente durch, verglich Ausgaben und eliminierte Störfaktoren, bis er sicher war, dass das Ergebnis korrekt ist. Die KI leistete die schwerste geistige Arbeit, aber die Entscheidung, „ob das stimmt“, traf stets der Mensch.
Der Autor dieses Beitrags meint, dass dies der leiseste und wichtigste Teil der ganzen Angelegenheit ist. Da die Inferenzfähigkeit der KI immer stärker wird, klafft eine Lücke zwischen „kann man Code schreiben“ und „kann man die Maschine dazu bringen, es richtig zu machen“. Diese zweite Fähigkeit ist manchmal nur ein Mensch, der bereit ist, um zwei Uhr morgens auf das Fehlerprotokoll zu starren.
Und dieser Mensch sitzt nicht unbedingt in einem Büro im Silicon Valley. Er kann im Keller sitzen, vor einem Server, der eigentlich vor dreizehn Jahren in Rente geschickt gehört hätte.
Referenzlinks:
- NeoMind Labs: Running Gemma 4 26B on a 13-year-old Xeon
- HN-Diskussion (item?id=48922434)
- „A 10 year old Xeon is all you need“ (Originalbeitrag, der dieses Projekt inspirierte)