Le 28 juillet 2026, Sebastian Raschka a publié un bref article de blog intitulé « Kimi K3 Architecture Notes ». Il ne s’agissait pas d’un long papier de recherche, mais simplement d’annotations sur un schéma d’architecture. Pourtant, une fois publié, le billet a rapidement grimpé en une d’Hacker News, récoltant plus de 270 votes.
Le même jour, l’article publié en octobre dernier par Moonshot AI, « Kimi Linear: An Expressive, Efficient Attention Architecture », est lui aussi apparu en première page d’HN, accumulant plus de 260 votes. Voir deux publications d’un même laboratoire figurer simultanément au sommet de la communauté tech occidentale n’avait rien d’une coïncidence.
Figure : Le schéma d’architecture de Kimi K3 analysé par Sebastian Raschka sur son blog. Des Attention Residuals au LatentMoE, chaque composant reflète une philosophie de conception propre. Source : Sebastian Raschka
Si DeepSeek a fait prendre conscience à l’Occident de la « présence » de l’IA chinoise au début de l’année 2025, le 28 juillet 2026 marque le jour où deux papiers de Moonshot AI ont contraint les observateurs occidentaux à regarder avec sérieux « l’originalité » des architectures chinoises.
« Ils ne font pas que de la distillation »
Pendant longtemps, le traitement de « l’IA chinoise » dans les médias tech occidentaux s’est résumé à un seul mot : distillation. En février dernier, Anthropic accusait publiquement DeepSeek, Moonshot AI et MiniMax d’avoir utilisé plus de 24 000 comptes factices et 16 millions de conversations pour distiller systématiquement Claude. Le Département du Trésor américain menaçait même Moonshot de sanctions. Dans le récit dominant en Occident, les laboratoires chinois étaient dépeints en « voleurs de technologie » — incapables d’innover par eux-mêmes et entièrement dépendants de la copie.
Mais ce récit est en train de s’effondrer.
L’un des commentaires les plus approuvés sur HN provenait de l’utilisateur constantlm :
“So, unlike what leaders of western labs would like you to believe (that Kimi is just the result of distillation attacks), they are introducing new and novel approaches.”
Cette simple phrase a récolté des dizaines de votes. Dans la section des commentaires, les discussions techniques ont pris le dessus : des chercheurs débattaient de la portée de l’architecture NoPE, comparaient les différences entre les Hyper-Connections de DeepSeek V4 et les Attention Residuals de Kimi, ou calculaient avec précision les économies de FLOPs permises par la Kimi Delta Attention. Plus personne ne mentionnait le mot « distillation ».
Kimi Delta Attention : L’attention linéaire surpasse l’attention complète pour la première fois
Pour mesurer la portée de cet événement, un rappel du contexte technique s’impose : l’attention linéaire (linear attention) est un domaine de recherche exploré depuis des années pour résoudre le principal goulot d’étranglement de l’architecture Transformer — la complexité algorithmique en $O(n^2)$ des mécanismes d’attention standard. En clair, plus le texte est long, plus le coût de calcul explose de manière quadratique. L’attention linéaire cherche à ramener cette complexité à $O(n)$, mais le prix à payer a toujours été une qualité inférieure à celle de l’attention complète (full attention).
L’apport fondamental du papier Kimi Linear est d’avoir démontré, à conditions de comparaison équitables, que l’attention linéaire pouvait surpasser l’attention complète sur l’ensemble des dimensions — textes me court, textes longs et même dans les scénarios d’apprentissage par renforcement (RL).
Figure : Principe fondamental de la Kimi Delta Attention — Contrôle indépendant des « poids d’écriture » et des « poids d’oubli » par canal afin d’exploiter plus efficacement un état mémoire limité. Source : Zhouyao Xie
Le composant clé de cette avancée s’appelle Kimi Delta Attention (KDA). Conçu sur la base de Gated DeltaNet, il introduit un mécanisme de contrôle à grain fin (fine-grained gating) permettant d’exploiter l’état mémoire de manière bien plus optimale. Là où l’attention linéaire traditionnelle traite tous les canaux de manière indifférenciée lors de l’écriture en mémoire, KDA contrôle indépendamment le « poids d’écriture » et le « poids d’oubli » de chaque canal — déterminant précisément quelles informations retenir, mettre à jour ou effacer.
Ce contrôle minutieux à chaque couche et sur chaque canal a permis à l’attention linéaire d’atteindre pour la première fois des performances équivalentes voire supérieures à l’attention complète.
L’article présente également une optimisation ingénieuse : l’utilisation d’une variante spécialisée de matrices Diagonal-Plus-Low-Rank (DPLR) pour l’accélération matérielle. Sans dégrader les performances du modèle, l’empreinte du KV cache a été réduite jusqu’à 75 %, tandis que le débit de décodage sur des contextes longs de 1 million de tokens a été multiplié par 6.
Une décision d’ingénierie cruciale se trouve ici : d’innombrables articles sur l’attention linéaire ont été publiés ces dernières années, mais presque aucun n’a été adopté en production. La raison tenait au dilemme « théorie séduisante, exécution matérielle décevante » — sur le plan mathématique, le $O(n)$ est élégant, mais sur les GPU réels, l’approche ne parvenait pas à rivaliser avec les kernels d’attention complète ultra-optimisés de cuDNN. KDA a conçu sur mesure un algorithme par blocs (chunkwise) adapté au matériel, rendant cette architecture réellement déployable en production — au lieu de la cantonner aux publications académiques.
Kimi K3 : La philosophie architecturale derrière 2 800 milliards de paramètres
Si Kimi Linear constitue l’article théorique sur le « moteur », Kimi K3 représente la mise sur la route du « véhicule complet ».
Kimi K3 est un modèle MoE (Mixture-of-Experts) de 2 800 milliards de paramètres publié par Moonshot AI le 16 juillet. Il active 16 experts sur 896 par token, intègre une compréhension multimodale native et gère une fenêtre de contexte de 1 million de tokens. Il s’agit actuellement du plus grand modèle à poids ouverts au monde.
Ce qui a incité Sebastian Raschka à consacrer une analyse à sa structure réside dans une série de choix architecturaux audacieux :
Attention Residuals : Un composant inédit propre à K3. Les connexions résiduelles traditionnelles se contentent d’additionner l’entrée et la sortie pour faciliter la propagation du gradient. Les Attention Residuals utilisent des scores d’attention pour mesurer la contribution réelle de chaque couche au résultat final — une agrégation pondérée plutôt qu’une simple somme. Selon le rapport technique, ce mécanisme a amélioré de manière constante la perte de validation et les performances sur les tâches aval, pour un surcoût d’entraînement d’environ 4 % seulement et un surcoût d’inférence de 2 %.
NoPE (absence de codage de position) : K3 est la première architecture phare connue à abandonner totalement le codage de position sur l’ensemble de ses couches en production. Alors que la tendance récente associait RoPE sur les couches locales et NoPE sur les couches globales, K3 a supprimé le codage de position sur la totalité des couches.
LatentMoE : Bien que l’idée ne soit pas exclusivement issue de Moonshot (Nemotron 3 ayant exploré une voie similaire), K3 a prouvé la viabilité de LatentMoE à l’échelle de 2,8T. Le concept consiste à compresser les grandes couches linéaires des réseaux d’experts dans un espace latent de faible dimension avant le calcul, réduisant drastiquement le nombre de paramètres sans sacrifier la précision.
Comme l’a résumé Raschka sur son blog : « La tendance générale avec K3, comme pour Nemotron 3 et DeepSeek V4, s’oriente vers une plus grande efficacité d’inférence. L’idée centrale consiste à remplacer chaque composant par une version optimisée en efficacité. »
Une même communauté, des voix divergentes
La présence simultanée des deux papiers au sommet d’HN a suscité un dialogue instructif.
La discussion sur Kimi Linear (114 commentaires) est restée très académique — les chercheurs ont débattu de la capacité réelle de l’attention linéaire à remplacer l’attention complète, de la théorie du Bitter Lesson et de la validité des lois d’échelle (scaling laws).
En revanche, les échanges autour de l’analyse de K3 par Raschka (34 commentaires), bien que plus concis, ont offert une densité d’information supérieure. L’article abordant le modèle sous l’angle de l’architecture, la section commentaires s’est immédiatement orientée vers le débat : « L’IA chinoise se réduit-elle à de la distillation ? ». L’utilisateur thatsagasey a qualifié Raschka de « grand chercheur et auteur sur les LLM », ce qui constitue une reconnaissance en soi : lorsqu’un chercheur occidental du niveau de Sebastian Raschka dissèque l’architecture d’un laboratoire chinois, le récit de la « distillation exclusive » ne tient plus.
Le point de bascule : de « suiveur » à « innovateur original »
En prenant du recul sur la chronologie, la trajectoire des contributions architecturales originales des laboratoires chinois apparaît clairement :
- 2024 : DeepSeek V2 lance la Multi-head Latent Attention (MLA), largement reconnue comme l’une des contributions originales les plus marquantes dans l’optimisation du KV cache. Aujourd’hui, la quasi-totalité des modèles efficaces à long contexte s’inspirent de la MLA.
- Octobre 2025 : Moonshot AI publie Kimi Linear, démontrant pour la première fois que l’attention linéaire peut surpasser l’attention complète sur l’ensemble des métriques d’évaluation.
- Juillet 2026 : Kimi K3 fait passer Kimi Linear de 48B à 2,8T, confirmant le passage à l’échelle de ces innovations architecturales dans un environnement de production réel.
Il ne s’agit pas d’un coup de chance isolé d’un unique laboratoire. L’approche MoE et la MLA de DeepSeek, conjuguées à la Delta Attention et aux Attention Residuals de Moonshot, constituent des contributions originales et indépendantes menées par plusieurs laboratoires chinois dans des directions différentes.
Il convient toutefois de rester objectif : les chercheurs occidentaux maintiennent un regard nuancé. Certains soulignent que si la Kimi Linear Attention constitue un progrès manifeste, la prétention d’avoir « surpassé l’attention complète pour la première fois » doit faire l’objet de réplications indépendantes complémentaires, et rappellent que les travaux sur Gated DeltaNet trouvent leurs racines dans des recherches occidentales. Le degré « d’originalité » reste sujet à débat. Mais l’existence même de ce débat marque une avancée : le passage d’un discours « ils ne savent que distiller » à « quelle est l’ampleur de leur contribution » constitue en soi une reconnaissance de compétences.
Les signaux industriels derrière ces publications
La sortie de Kimi K3 a provoqué des ondes de choc au-delà du seul cercle technique. Bloomberg a rapporté que la publication du modèle s’est accompagnée d’un mouvement de vente sur les valeurs technologiques du Nasdaq, et le Secrétaire au Trésor américain, Bessent, a évoqué d’éventuelles sanctions. Le fait qu’une annonce en provenance d’une startup chinoise de l’IA fasse réagir les marchés de capitaux américains est un signal bien plus parlant que n’importe quel score de benchmark.
Un autre signal mérite l’attention : l’adoption par Moonshot d’une licence échelonnée selon le chiffre d’affaires (revenue-tiered licensing) pour K3. Les poids sont accessibles gratuitement pour les PME et les chercheurs, tandis que les grandes entreprises doivent s’acquitter d’une licence payante. C’est l’une des premières fois qu’une entreprise chinoise d’IA fait preuve d’une méthodologie commerciale aboutie autour de l’open source — construisant ainsi des douves à la croisée de la technologie et des affaires.
Conclusion
Voir deux papiers se hisser le même jour au sommet d’Hacker News relevait peut-être de la coïncidence pour Moonshot AI. Mais pour l’ensemble de l’écosystème chinois de l’IA, cela représente un véritable point de bascule dans le récit global.
Lorsque Sebastian Raschka décortique le schéma d’architecture de K3 couche par couche, et que les ingénieurs occidentaux sur HN débattent des mérites relatifs d’AttnRes et de NoPE au lieu de parler de « distillation », l’IA chinoise franchit le cap qui sépare le suiveur de produit de l’innovateur d’architecture. La distillation permet de combler un retard, mais le dépassement exige de l’originalité. L’originalité ne naît pas du jour au lendemain, mais lorsqu’elle émerge, elle ne passe pas inaperçue.
Le 28 juillet 2026, ce signal s’est fait entendre haut et fort.
Liens de référence :
- Sebastian Raschka, “Kimi K3 Architecture Notes”, Jul 28, 2026
- Kimi Team, “Kimi Linear: An Expressive, Efficient Attention Architecture”, Oct 2025 (arXiv)
- Hacker News Discussion: Kimi K3 Architecture Notes (item?id=49085698)
- Hacker News Discussion: Kimi Linear (item?id=49082022)
- Moonshot AI, “Kimi K3 Tech Blog: Open Frontier Intelligence”
- Moonshot AI, “Kimi K3 Quickstart”
- Zhouyao Xie, “Behind Kimi K3: Understanding Kimi Delta Attention”, Jul 2026
- GitHub: MoonshotAI/Kimi-K3
- GitHub: MoonshotAI/Kimi-Linear
- Pandaily, “Deconstructing the Kimi K3 Technical Report”, Jul 2026
