Am 28. Juli 2026 veröffentlichte Sebastian Raschka einen kurzen Blogbeitrag mit dem Titel „Kimi K3 Architecture Notes“. Es war keine ausführliche wissenschaftliche Arbeit, sondern lediglich eine Anmerkung zu einem Architekturdiagramm – doch kaum veröffentlicht, stieg der Beitrag auf die Startseite von Hacker News und sammelte über 270 Upvotes.
Am selben Tag erschien auch das im Oktober verlassene Paper von Moonshot AI, „Kimi Linear: An Expressive, Efficient Attention Architecture“, auf der HN-Startseite und erhielt ebenfalls mehr als 260 Upvotes. Dass zwei Arbeiten desselben Labors am selben Tag die Spitzenplätze der westlichen Entwickler-Community belegten, war kein Zufall.
Abbildung: Das von Sebastian Raschka in seinem Blog analysierte Kimi K3-Architekturdiagramm. Von Attention Residuals bis LatentMoE spiegelt jede Komponente eine eigene Designphilosophie wider. Quelle: Sebastian Raschka
Wenn DeepSeek Anfang 2025 der westlichen Welt die „Existenz“ chinesischer KI vor Augen führte, so war der 28. Juli 2026 der Tag, an dem zwei Arbeiten von Moonshot AI den Westen zwangen, die „Originalität“ chinesischer KI-Architekturen ernsthaft zu bewerten.
„Sie betreiben nicht nur Destillation“
Lange Zeit war die Berichterstattung westlicher Tech-Medien über „chinesische KI“ an ein einziges Wort gekoppelt: Destillation (Distillation). Im Februar beschuldigte Anthropic öffentlich DeepSeek, Moonshot AI und MiniMax, über 24.000 gefälschte Konten und 16 Millionen Dialoge für eine systematische Destillation von Claude genutzt zu haben. Das US-Finanzministerium drohte Moonshot sogar mit Sanktionen. Im westlichen Mainstream-Narrativ wurden chinesische KI-Labore als „Technologie-Diebe“ dargestellt – ohne eigene Innovationen, vollständig abhängig vom Kopieren.
Dieses Narrativ bricht nun zusammen.
Einer der am stärksten hochgevoteten Kommentare auf HN stammte vom Nutzer constantlm:
“So, unlike what leaders of western labs would like you to believe (that Kimi is just the result of distillation attacks), they are introducing new and novel approaches.”
Dieser Satz erhielt Dutzende von Upvotes. Die Kommentarspalte füllte sich mit fundierter technischer Diskussion: Forscher debattierten über die Bedeutung der NoPE-Architektur, verglichen die technischen Unterschiede zwischen Hyper-Connections von DeepSeek V4 und den Attention Residuals von Kimi und berechneten die FLOPs-Einsparungen von Kimi Delta Attention. Niemand sprach mehr von „Destillation“.
Kimi Delta Attention: Lineare Attention schlägt erstmals volle Attention
Um die Bedeutung dieses Moments zu verstehen, ist ein technischer Hintergrund erforderlich: Lineare Attention (Linear Attention) ist ein seit Jahren erforschter Ansatz zur Lösung des zentralen Flaschenhalses der Transformer-Architektur – der quadratischen Komplexität $O(n^2)$ von Standard-Attention-Mechanismen. Je länger der Kontext, desto exponentieller steigt der Rechenaufwand. Lineare Attention versucht, die Komplexität auf $O(n)$ zu senken, jedoch stets um den Preis, dass die Leistungsfähigkeit hinter der vollen Attention (Full Attention) zurückblieb.
Der Kernbeitrag des Kimi-Linear-Papers besteht darin, dass es in einem fairen Vergleich der linearen Attention erstmals gelang, die volle Attention in allen Dimensionen zu übertreffen – bei kurzen Texten, langen Texten und sogar in Szenarien des verstärkenden Lernens (Reinforcement Learning).
Abbildung: Kerngedanke der Kimi Delta Attention — Unabhängige Steuerung der „Schreibgewichte“ und „Vergessensgewichte“ pro Kanal zur effizienteren Nutzung begrenzter Speicherzustände. Quelle: Zhouyao Xie
Das zentrale Bauteil für diesen Durchbruch heißt Kimi Delta Attention (KDA). Es baut auf Gated DeltaNet auf und führt einen feingliedrigen Gating-Mechanismus (fine-grained gating) ein, der die Nutzung des begrenzten Speicherzustands drastisch optimiert. Während herkömmliche lineare Attention beim Schreiben in den Speicher alle Kanäle gleich behandelt, steuert KDA für jeden einzelnen Kanal unabhängig das „Schreibgewicht“ und das „Vergessensgewicht“ – es entscheidet präzise, welche Informationen behalten, aktualisiert oder verworfen werden.
Diese feinteilige Kontrolle über jede Schicht und jeden Kanal ermöglichte es der linearen Attention erstmals, Ergebnisse zu erzielen, die mit voller Attention vergleichbar oder dieser überlegen sind.
Zudem stellt die Arbeit eine elegante technische Optimierung vor: Eine spezialisierte Variante der Diagonal-Plus-Low-Rank-Matrix (DPLR) zur Hardwarebeschleunigung. Ohne die Modellleistung zu beeinträchtigen, wurde der KV-Cache-Bedarf um bis zu 75 % reduziert und der Durchsatz bei der Dekodierung von 1-Million-Token-Kontexten um das Sechsfache gesteigert.
Hier liegt eine entscheidende ingenieurtechnische Erkenntnis: In den letzten Jahren gab es unzählige Arbeiten zu linearer Attention, doch kaum eine fand Eingang in die tatsächliche Produktion. Der Grund lag im Dilemma „gute Theorie, schlechte Hardware-Implementierung“ – mathematisch sieht $O(n)$ hervorragend aus, aber auf echten GPUs konnte der Ansatz nicht mit hochoptimierten cuDNN-Kernels für volle Attention konkurrieren. KDA entwickelte speziell dafür einen hardwarebewussten Chunkwise-Algorithmus, wodurch diese Architektur tatsächlich produktiv einsetzbar wurde – anstatt ein reines Papierkonzept zu bleiben.
Kimi K3: Die Architekturphilosophie hinter 2,8 Billionen Parametern
Wenn Kimi Linear das Paper für den „Motor“ ist, so ist Kimi K3 das fertige „Fahrzeug“.
Kimi K3 ist ein MoE-Modell (Mixture-of-Experts) mit 2,8 Billionen Parametern, das Moonshot AI am 16. Juli veröffentlichte. Es aktiviert 16 von 896 Experten pro Token, bietet natives multimodales Verständnis und unterstützt einen Kontext von 1 Million Token. Es ist derzeit das weltweit größte Modell mit offenen Gewichten.
Was Sebastian Raschka veranlasste, eine Architekturanalyse zu verfassen, waren die mutigen Designentscheidungen von K3:
Attention Residuals: Eine einzigartige Komponente in K3. Herkömmliche Residual Connections addieren lediglich Eingang und Ausgang, um den Gradientenfluss zu unterstützen. Attention Residuals nutzen hingegen Attention-Scores, um zu messen, wie viel jede Schicht zum endgültigen Ausgang „beitragen“ soll – eine gewichtete Aggregation statt einer einfachen Addition. Laut technischem Bericht verbesserte dies konsistent den Validierungsverlust und die Downstream-Leistung bei nur ~4 % höheren Trainingskosten und ~2 % zusätzlichem Overhead bei der Inferenz.
NoPE (Verzicht auf Positionskodierung): K3 ist die erste bekannte Flaggschiff-Architektur, die in allen Schichten einer Produktionsumgebung vollständig auf Positionskodierungen verzichtet. Während der jüngste Trend RoPE für lokale Schichten und NoPE für globale Schichten nutzte, entfernte K3 die Positionskodierung durchgängig in allen Schichten.
LatentMoE: Obwohl die Idee nicht ausschließlich von Kimi stammt (auch Nemotron 3 nutzte ein ähnliches Konzept), bewies K3 die Machbarkeit von LatentMoE im 2,8T-Maßstab. Der Kernansatz komprimiert die großen linearen Schichten der Experten-Netzwerke vor der Berechnung in einen niederdimensionalen latenten Raum, was die Parameteranzahl drastisch reduziert, ohne die Leistung zu schmälerung.
Raschka fasste dies in seinem Blog treffend zusammen: „Der Gesamttrend bei K3 geht wie bei Nemotron 3 und DeepSeek V4 in Richtung höherer Inferenzeffizienz. Der Kerngedanke besteht darin, jede Komponente durch eine effizienzoptimierte Version zu ersetzen.“
Gleiche Community, unterschiedliche Stimmen
Ein interessanter Aspekt der zeitgleichen Veröffentlichung beider Arbeiten auf der HN-Startseite war der Dialog, den sie auslösten.
Die HN-Diskussion zu Kimi Linear (114 Kommentare) war stark akademisch geprägt – Forscher debattierten darüber, ob lineare Attention die volle Attention wirklich ersetzen kann, sowie über die Anwendbarkeit der Bitter-Lesson-Theorie und Scaling Laws.
Die Diskussion zu Raschkas K3-Architektur-Notes (34 Kommentare) bot bei geringerer Anzahl eine höhere Informationsdichte: Da der Beitrag K3 aus architektonischer Sicht analysierte, ging die Kommentarspalte direkt in eine Debatte darüber über, ob chinesische KI lediglich aus Destillation besteht. Der Nutzer thatsagasey bezeichnete Raschka als „großartigen LLM-Forscher/Autor“. Wenn ein westlicher Forscher vom Format eines Sebastian Raschka die Architektur eines chinesischen Labors ernsthaft analysiert, verliert das reine Destillations-Narrativ sein Fundament.
Wendepunkt vom „Nachfolger“ zum „Original-Innovator“
Betrachtet man die langfristige Entwicklung, zeigt sich ein klarer Pfad originärer Architekturbeiträge chinesischer KI-Labore:
- 2024: DeepSeek V2 führt Multi-head Latent Attention (MLA) ein, was branchenweit als einer der wichtigsten Beiträge zur KV-Cache-Optimierung gilt. Fast alle aktuellen effizienten Modelle für lange Kontexte greifen auf MLA zurück.
- Oktober 2025: Moonshot AI veröffentlicht Kimi Linear und demonstriert erstmals, dass lineare Attention die volle Attention in allen Evaluationen übertreffen kann.
- Juli 2026: Kimi K3 skaliert Kimi Linear von 48B auf 2,8T und bestätigt die Skalierbarkeit dieser Architekturinnovationen unter Produktionsbedingungen.
Dies ist kein einmaliger Glückstreffer eines einzelnen Labors. MoE und MLA von DeepSeek sowie Delta Attention und Attention Residuals von Moonshot repräsentieren eigenständige, originäre Beiträge verschiedener chinesischer Labore in unterschiedlichen technischen Richtungen.
Objektiv betrachtet gibt es auch nuancierte Stimmen unter westlichen Forschern. Einige betonen, dass Kimi Linear zwar ein klarer Fortschritt ist, die Behauptung, „volle Attention erstmals geschlagen zu haben“, jedoch weiterer unabhängiger Replikation bedarf. Zudem geht die Forschung zu Gated DeltaNet ursprünglich auf Arbeiten westlicher Labore zurück. Der Grad der Originalität bleibt Gegenstand von Debatten. Aber allein die Existenz dieser Debatte ist ein Fortschritt: Die Verschiebung des Themas von „Sie kopieren nur“ zu „Wie groß ist ihr Beitrag“ stellt bereits eine Anerkennung der Leistungsfähigkeit dar.
Industrielle Signale hinter den beiden Arbeiten
Die Veröffentlichung von Kimi K3 löste auch jenseits der Fachwelt Bewegung aus. Bloomberg berichtete, dass das Release von K3 am selben Tag Verkäufe von Tech-Aktien an der Nasdaq auslöste, und US-Finanzminister Bessent drohte sogar mit Sanktionen. Dass das Modell eines chinesischen KI-Start-ups US-Kapitalmärkte bewegt, ist ein weitaus deutlicheres Signal als jeder Benchmark-Score.
Ebenfalls bemerkenswert ist Moonshots gestaffeltes Lizenzmodell (Revenue-Tiered Licensing) für K3: Kostenfreier Zugriff auf die Modellgewichte für kleine und mittlere Unternehmen sowie Forscher, kostenpflichtige Lizenzen für Großunternehmen. Dies ist eines der ersten Male, dass ein chinesisches KI-Unternehmen eine ausgereifte Kommerzialisierungsstrategie rund um Open Source demonstriert.
Fazit
Dass zwei Arbeiten am selben Tag die Spitze von Hacker News erreichten, mag für Moonshot AI ein Zufall gewesen sein. Für die gesamte chinesische KI-Branche markiert es jedoch einen narrativen Wendepunkt.
Wenn Sebastian Raschka das Architekturdiagramm von K3 Schicht für Schicht analysiert und westliche Ingenieure auf HN über die Vor- und Nachteile von AttnRes und NoPE diskutieren anstatt über „Destillation“, hat die chinesische KI die Schwelle vom Produkt-Follower zum Architektur-Innovator überschritten. Destillation hilft beim Aufholen, aber das Überholen erfordert Originalität. Originalität entsteht nicht über Nacht, aber wenn sie da ist, bleibt sie nicht unbemerkt.
Am 28. Juli 2026 ist dieses Signal angekommen.
Referenzen:
- Sebastian Raschka, “Kimi K3 Architecture Notes”, Jul 28, 2026
- Kimi Team, “Kimi Linear: An Expressive, Efficient Attention Architecture”, Oct 2025 (arXiv)
- Hacker News Discussion: Kimi K3 Architecture Notes (item?id=49085698)
- Hacker News Discussion: Kimi Linear (item?id=49082022)
- Moonshot AI, “Kimi K3 Tech Blog: Open Frontier Intelligence”
- Moonshot AI, “Kimi K3 Quickstart”
- Zhouyao Xie, “Behind Kimi K3: Understanding Kimi Delta Attention”, Jul 2026
- GitHub: MoonshotAI/Kimi-K3
- GitHub: MoonshotAI/Kimi-Linear
- Pandaily, “Deconstructing the Kimi K3 Technical Report”, Jul 2026
