Am 8. September 2026 erklomm ein bemerkenswertes technisches Experiment die Spitze von Hacker News: Ein Entwickler brachte das quelloffene 2,8-Billionen-Parameter-Modell Kimi K3 von Moonshot AI auf einem Apple M5 Max MacBook Pro vollständig offline zum Laufen. Das Notebook verfügte lediglich über 128 GB Unified Memory. Ein Modell mit 2,8 Billionen Parametern übersteigt die physikalischen Grenzen herkömmlicher Heimcomputer bei Weitem. Doch mithilfe von vier externen Hochgeschwindigkeits-NVMe-SSDs vollbrachte das Open-Source-Projekt deltafin das digitale Kunststück, eine Ameise einen Elefanten bewegen zu lassen.
Die Erkenntnis, dass ein Modell mit mehreren Billionen Parametern auf einem handelsüblichen Laptop lauffähig ist, stellt das bisherige ökonomische Narrativ der KI-Entwicklung auf den Kopf. In den vergangenen fünf Jahren galten Spitzenmodelle als exklusive Cloud-Dienste gigantischer Rechenzentren, die Entwickler nur über kostenpflichtige APIs ansprechen konnten. Offene Modellgewichte und engagiertes Community-Hardware-Hacking konfrontieren die Nutzer nun direkt mit der Frage, wie viel Hardware man für echte Spitzen-KI wirklich braucht. Doch vor allzu großer Euphorie mahnen die Messwerte zur Nüchternheit: Angeschlossen an vier externe SSDs erzeugt dieses MacBook gerade einmal ein Wort bzw. Token pro Sekunde.
128 GB RAM reichen nicht für 2,8 Billionen Parameter
Wer ein Modell mit Billionen von Parametern lokal betreiben will, prallt unweigerlich gegen die Wand der physischen Speicherkapazität. Parameter sind die internen Stellschrauben eines neuronalen Netzes. 2,8 Billionen dieser Regler bestimmen sowohl die kognitive Leistungsfähigkeit als auch den gewaltigen Speicherhunger. Selbst bei gängigen Quantisierungsverfahren erfordert das vollständige Laden eines solchen Modells rund ein Terabyte Arbeitsspeicher; selbst aggressivste Kompression verlangt immer noch mehrere hundert Gigabyte. Derzeit bietet selbst das am besten ausgestattete MacBook Pro maximal 128 GB gemeinsamen Arbeitsspeicher.
Der technische Ehrgeiz kollidiert hier direkt mit physikalischen Grenzen. Bei herkömmlichen Ausführungsmodellen muss das gesamte neuronale Netz vollständig im Arbeitsspeicher liegen. Ein MacBook mit 128 GB kann nicht einmal ein Fünftel von Kimi K3 fassen. Bei Speichermangel greifen Systeme klassischerweise auf virtuelle Speicherverwaltung und Auslagerungsdateien (Swap) zurück. Doch SSDs arbeiten hunderte Male langsamer als physischer RAM. Wenn der Prozessor während der Inferenz kontinuierlich Daten von der Festplatte nachladen muss, bricht die Rechenleistung augenblicklich ein.
Würde man eine traditionelle dichte Modellarchitektur (Dense Model) direkt von der Festplatte ausführen, müsste bei jedem einzelnen generierten Token die gesamte Datenmenge von mehreren tausend Gigabyte durchkämmt werden. Für einen Personal Computer ist das vollkommen undenkbar. Um diese Hürde zu nehmen, brauchte es eine Architektur und einen Mechanismus für echtes On-Demand-Streaming.
Vier SSDs stemmen die Rotation von 16 Experten
Dass das Projekt deltafin überhaupt funktioniert, verdankt es der Kombination aus Kimi K3s Mixture-of-Experts-Architektur (MoE) und ausgefeilter Festplatten-Partitionierung. Das K3-Modell umfasst 16 spezialisierte Expertenmodule für unterschiedliche Aufgabenbereiche. Bei der Generierung eines Tokens muss das Modell nicht alle Experten gleichzeitig ansprechen, sondern aktiviert lediglich eine Handvoll der am besten passenden Module. Diese Eigenschaft eignet sich von Natur aus perfekt für sequenzielles Streaming bei Bedarf.
Die Entwickler zerlegten das gigantische Modell Schicht für Schicht sowie Experte für Experte und verteilten die Fragmente über vier externe NVMe-SSDs. Was im Bereich verteilter Datenbanken als Striping und Sharding längst Standard ist, stellt bei der lokalen Ausführung großer Sprachmodelle ein radikales Experiment zur Hardware-Demokratisierung dar. Indem über vier SSDs parallel gelesen und geschrieben wird, lässt sich die enorme Bandbreitenlast effektiv verteilen.
Die Inferenz verwandelt sich dabei in ein präzises Scheduling-Puzzle. Eine zentrale Rolle spielt hierbei der spekulative Lesemechanismus K3_PILOT. Bei jedem neuen Token prognostiziert das System vorab, welcher Experte in der nächsten Schicht benötigt wird. Über split-homed expert reads werden die entsprechenden Gewichte unverzüglich parallel von den SSDs in den Arbeitsspeicher geladen. Sobald die Berechnung abgeschlossen ist, wird der belegte Speicher sofort freigegeben, um Platz für die nächsten Experten zu schaffen. Um Latenzen beim Plattenzugriff weiter abzufedern, erfasst das Projekt die Aufrufhäufigkeit über ein sogenanntes expert residency heat histogram. Die am häufigsten genutzten Generalisten verbleiben dauerhaft im 128-GB-RAM, während selten benötigte Spezialisten auf der SSD warten. Diese Kombination aus statischem Caching und dynamischem Streaming maskiert einen Großteil der Festplatten-Latenzen.
Abbildung: Offizielle Modellkarte für Kimi K3. Quelle: HuggingFace moonshotai/Kimi-K3
Der parallele Betrieb der vier schnellen SSDs liefert den gewaltigen Durchsatz, der für das Nachladen bei Bedarf erforderlich ist. Diese an der Modellarchitektur ausgerichtete Datenlogistik bahnt dem 2,8-Billionen-Parameter-Koloss einen schmalen Überlebenspfad innerhalb der Grenzen von 128 GB RAM.
Ein Token pro Sekunde: Die Grenze des langsamen Denkens
Einen Elefanten in einen Haushaltskühlschrank zu zwängen, fordert einen hohen Tribut an Geschwindigkeit. Benchmark-Messungen belegen, dass die mediane Generierungsgeschwindigkeit auf diesem Mac nach zwei Kaltstarts stabil zwischen 0,92 und 1,13 Token/s liegt. Selbst wenn das schlanke Qwen3-0.6B als spekulativer Decoder vorgeschaltet wird, verharrt die Rate bei rund 1 Token/s. Bei einer Eingabelänge von 512 Token klettert die Verarbeitungsgeschwindigkeit auf etwa 1,4 Token/s, wobei die Ausgabe Byte für Byte mit der nicht-spekulativen Variante übereinstimmt.
| Szenario & Hardware-Setup | Typische Generierungsgeschwindigkeit (Token/s) | Primärer Einsatzzweck |
|---|---|---|
| Cloud GPT-4 / Kimi API | 20 - 50+ | Echtzeit-Dialoge, interaktives Web-Browsing |
| Lokales 8B-Klasse-Modell | 30 - 60+ | Offline-Terminal-Assistent, Echtzeit-Code-Vervollständigung |
| Kimi K3 + MacBook mit 4 SSDs | 0,92 - 1,13 | Offline-Code-Analyse, Verfassen langer logischer Entwürfe |
| Durchschnittliche Lesegeschwindigkeit des Menschen | 4 - 8 | Visuelle Textaufnahme |
Ein Mensch liest Texte auf einem Bildschirm durchschnittlich mit 4 bis 8 Wörtern pro Sekunde. Sitzt man vor dem Bildschirm und wartet auf die Antworten von Kimi K3, tröpfeln die Wörter spürbar langsamer herein, als man im Stillen liest. Moderne Rechenzentrums-Modelle liefern im Vergleich dazu mühelos Dutzende Token pro Sekunde im flüssigen Dialog.
Abbildung: Messergebnisse des deltafin-Projekts: Decodiergeschwindigkeit bei unterschiedlichen Eingabelängen. Quelle: GitHub argonautlabsai/deltafin
Dieser Geschwindigkeitsabfall um zwei Größenordnungen löste auf Hacker News kontroverse Diskussionen aus. Einige Entwickler taten das Setup als reine Machbarkeitsstudie ohne praktischen Nutzen für den interaktiven Einsatz ab. Für asynchrone Hintergrundaufgaben ist die geringe Geschwindigkeit jedoch keineswegs ein K.-o.-Kriterium. Ein System kann über Nacht komplexe Codebasen analysieren oder autonome Agenten können logische Schlussfolgerungen in einer isolierten Sandbox prüfen. Ein Token pro Sekunde reicht völlig aus, wenn der Lohn dafür erstklassige Spitzen-Inferenzqualität ist. Das Experiment zieht eine klare Grenze: Als Gesprächspartner taugt dieses Setup kaum, als unermüdliches Offline-Arbeitstier für gründliches, langsames Nachdenken hingegen sehr wohl.
Wenn Spitzenmodelle zu lokalen Dateien werden
Jahrelang war der Diskurs über Künstliche Intelligenz untrennbar mit gigantischen Rechenzentren und unbezahlbarer Cloud-Infrastruktur verbunden. Einzelne Entwickler und Anwender mussten Rechenzeit von Tech-Konzernen anmieten und vertrauliche Daten in die Cloud laden. Die Demonstration von deltafin mit Kimi K3 zeigt eine völlig andere Perspektive auf: Das Modell ist kein flüchtiger, unzugänglicher Cloud-Dienst mehr, sondern eine greifbare Sammlung lokaler Dateien auf der eigenen Festplatte.
Ein 2,8-Billionen-Parameter-Modell liegt als lokale Datei auf einem Laptop. Auch wenn es nur im gemächlichen Takt von einem Token pro Sekunde agiert, garantiert dies absolute Datenhoheit und Offline-Verfügbarkeit auf Hardware-Ebene. Unternehmen können vertrauliche Analysen bei vollständig gekappter Internetverbindung durchführen, vollkommen geschützt vor externen Zugriffen. Software-Ingenieure können Architektur-Entwürfe offline von einer Spitzen-KI prüfen lassen. Das Paradigma wandelt sich vom interaktiven Chatfenster hin zu lang laufenden Hintergrundprozessen.
Die Veröffentlichung der Modellgewichte von Kimi K3 und der Erfindungsreichtum der Open-Source-Gemeinschaft haben einen entscheidenden Machbarkeitsnachweis erbracht. Die künstliche Trennlinie zwischen Billionen-Parameter-Modellen und lokaler Hardware ist durchbrochen. Die erfolgreiche Offline-Ausführung eines 2,8-Billionen-Parameter-MoE-Modells markiert eine Wende: Der Schwerpunkt fortschrittlicher KI verlagert sich vom zentralisierten Cloud-Training hin zur dezentralen, lokalen Ausführung.
Weiterführende Links:
- Diskussion auf Hacker News (item?id=49616257)
- GitHub argonautlabsai/deltafin
- HuggingFace moonshotai/Kimi-K3
