Le 8 septembre 2026, une expérience technique hors norme s’est hissée en tête de Hacker News : un développeur a réussi à faire tourner en mode totalement hors ligne le modèle open-source Kimi K3 de Moonshot AI, fort de ses 2,8 billions de paramètres, sur un MacBook Pro équipé d’une puce Apple M5 Max. Cet ordinateur portable ne disposait pourtant que de 128 Go de mémoire unifiée. Le volume représenté par 2,8 billions de paramètres dépasse de très loin les limites physiques de n’importe quel ordinateur personnel classique. Pourtant, en reliant en parallèle quatre disques SSD NVMe externes à haute vitesse, le projet open-source deltafin a accompli cet exploit d’ingénierie digne d’une fourmi soulevant un éléphant.
La preuve qu’un modèle de plusieurs billions de paramètres peut s’exécuter sur un ordinateur portable grand public bouleverse l’économie des modèles d’IA de pointe. Tout au long des cinq dernières années, les modèles fondateurs géants sont restés l’apanage exclusif des centres de données hyperscale, accessibles uniquement via des API payantes. Désormais, l’ouverture des poids alliée à l’ingéniosité matérielle de la communauté confronte directement l’utilisateur à la question : « quelle quantité de matériel faut-il réellement pour faire tourner une IA de premier rang ? ». Mais avant de crier victoire, les benchmarks posent une frontière physique impitoyable : relié à ses quatre disques externes, ce MacBook ne génère du texte qu’au rythme d’un seul mot ou token par seconde.
128 Go de mémoire ne suffisent pas pour 2,8 billions de paramètres
Vouloir faire tourner localement un modèle de plusieurs billions de paramètres se heurte d’entrée de jeu au mur de la mémoire physique. Les paramètres sont les molettes de réglage internes d’un réseau de neurones. Deux mille huit cents milliards de curseurs définissent le plafond d’intelligence du modèle, mais également son empreinte numérique vertigineuse. Selon les ratios de compression et de quantification usuels, charger intégralement un modèle de 2,8 billions de paramètres nécessiterait environ 1 To de mémoire vive, et même avec une compression extrêmement agressive, plusieurs centaines de gigaoctets restent indispensables. Or, le MacBook Pro le mieux doté du marché culmine aujourd’hui à 128 Go de mémoire unifiée.
L’ambition technique heurte ici de plein fouet les lois de la physique. Avec les modes d’exécution conventionnels, le réseau de neurones doit résider en intégralité dans la mémoire vive. Une machine de 128 Go ne peut même pas contenir un cinquième de Kimi K3. En cas de mémoire insuffisante, le recours traditionnel consiste à utiliser le disque dur comme mémoire virtuelle (swap). Cependant, les SSD sont des centaines de fois plus lents que la mémoire vive. Forcer le processeur à multiplier les allers-retours vers le disque pendant l’inférence anéantit instantanément toute vitesse de calcul.
Si l’on tentait de faire tourner une architecture dense classique directement depuis le disque, la génération de chaque token exigerait de balayer des milliers de gigaoctets à travers le bus de stockage. Une telle approche est impensable sur un ordinateur personnel. Pour franchir cet obstacle, il fallait impérativement concevoir un mécanisme capable de lire les données strictement à la demande.
Quatre disques SSD pour orchestrer la rotation de 16 experts
Le projet deltafin fonctionne principalement grâce à l’architecture en mélange d’experts (MoE, Mixture of Experts) de Kimi K3 et à une découpe chirurgicale des poids sur disque. En interne, l’architecture K3 s’appuie sur 16 modules experts spécialisés. Lors de la génération d’un token, le modèle n’a pas besoin de mobiliser tous ses experts : il n’active que les quelques modules les plus pertinents pour le contexte immédiat. Cette propriété est taillée sur mesure pour une lecture séquentielle en streaming à la demande.
Les développeurs ont segmenté ce modèle monumental couche par couche et expert par expert, répartissant ces fragments sur quatre disques SSD NVMe externes. Si le découpage et la répartition de données sont monnaie courante dans les bases de données distribuées, les appliquer à l’inférence de modèles géants sur une machine personnelle constitue une expérimentation audacieuse de démocratisation matérielle. En lisant et écrivant simultanément sur quatre disques, l’installation répartit efficacement une charge d’E/S colossale.
L’inférence devient alors une partie d’échecs millimétrée. Un mécanisme de prélecture spéculative baptisé K3_PILOT y joue un rôle déterminant : pour chaque nouveau token, le programme anticipe l’expert qui sera sollicité à la couche suivante. Le système déclenche aussitôt des lectures concurrentes (split-homed expert reads) pour transférer les poids nécessaires depuis les SSD vers la mémoire unifiée. Dès que le calcul est achevé, cet espace mémoire est purgé pour accueillir les experts suivants. Pour compenser la latence inhérente aux accès disque, le projet surveille la fréquence d’utilisation des experts via un histogramme de chaleur de résidence (expert residency heat histogram). Les experts généralistes les plus souvent sollicités restent verrouillés en permanence dans les 128 Go de mémoire vive, tandis que les spécialistes rarement appelés patientent sur le disque. Cette alliance entre mise en cache statique et streaming dynamique masque habilement une part substantielle des temps de recherche du disque.
Figure : Visuel officiel de la fiche modèle de Kimi K3. Source : HuggingFace moonshotai/Kimi-K3
La mobilisation de quatre disques SSD haute vitesse fournit le débit massif exigé par les transferts à la demande. Ce convoyage chirurgical de données, dicté par la structure du modèle, ouvre un couloir de survie inespéré à un géant de 2,8 billions de paramètres dans les limites étroites de 128 Go de RAM.
Un token par seconde : tracer les frontières de la pensée lente
Faire entrer un éléphant dans un réfrigérateur domestique s’achète au prix fort sur le plan de la vitesse. Les mesures réelles indiquent que, sur cette machine Apple, la vitesse médiane de génération après deux démarrages à froid se stabilise entre 0,92 et 1,13 token/s. Même en associant le petit modèle Qwen3-0.6B comme décodeur spéculatif pour assister les prédictions, le débit stagne autour de 1 token/s. Pour un prompt d’entrée de 512 tokens, la vitesse de décodage atteint environ 1,4 token/s, produisant un texte rigoureusement identique, octet par octet, au mode non spéculatif.
| Scénario & Configuration | Vitesse de génération typique (token/s) | Cas d’usage principal |
|---|---|---|
| API Cloud (GPT-4 / Kimi) | 20 - 50+ | Conversation en temps réel, lecture web interactive |
| Petit modèle local de classe 8B | 30 - 60+ | Assistant terminal hors ligne, complétion de code en direct |
| Kimi K3 + MacBook avec 4 SSD | 0,92 - 1,13 | Raisonnement de code hors ligne, rédaction logique longue |
| Vitesse moyenne de lecture humaine | 4 - 8 | Assimilation visuelle de texte |
Un être humain lit en moyenne à l’écran à un rythme de 4 à 8 mots par seconde. Attendre la réponse de Kimi K3 revient donc à voir défiler le texte bien plus lentement qu’une lecture silencieuse. En comparaison, les infrastructures cloud des centres de données débitent sans peine des dizaines de mots par seconde pour maintenir un échange fluide.
Figure : Résultats empiriques du projet deltafin : vitesse de décodage selon la longueur de l’entrée. Source : GitHub argonautlabsai/deltafin
Cette chute de deux ordres de grandeur a suscité de vifs débats sur Hacker News. Certains développeurs ont qualifié la démarche de simple démonstration de force sans utilité pratique pour une interaction humaine directe. Pourtant, pour des tâches asynchrones exécutées en arrière-plan, la lenteur n’a rien de rédhibitoire. Le système peut passer la nuit à auditer une base de code complexe, ou un agent autonome peut explorer des chemins logiques dans un bac à sable isolé. Un débit d’un token par seconde est un compromis tout à fait acceptable quand il permet d’accéder à la qualité de raisonnement d’un modèle d’élite. L’expérience pose ainsi une frontière sans équivoque : cette installation ne convient pas à la discussion informelle, mais excelle en tant que bourreau de travail infatigable pour une pensée lente et réfléchie en local.
Les modèles géants deviennent de simples fichiers locaux
Pendant plusieurs années, le développement de l’intelligence artificielle est resté assujetti aux centres de données démesurés et aux coûts exorbitants du calcul dans le cloud. Les développeurs indépendants et les utilisateurs devaient s’en remettre aux géants de la tech, tout en envoyant leurs données confidentielles sur des serveurs distants. La démonstration de deltafin portant Kimi K3 sur un ordinateur portable ouvre une perspective radicalement différente : le modèle n’est plus un service distant inaccessible, mais devient une collection concrète de fichiers stockés sur son propre disque dur.
Faire résider un modèle de 2,8 billions de paramètres sous forme de fichiers locaux sur une machine personnelle offre des garanties physiques totales en matière de souveraineté des données et de disponibilité hors ligne, même si le fil de la réflexion ne progresse qu’à la cadence d’un token par seconde. Les entreprises peuvent mener des analyses sur du code propriétaire en coupant totalement la connexion réseau, sans craindre la moindre fuite externe. Les ingénieurs logiciels peuvent solliciter une intelligence de premier plan pour valider une architecture complexe sans accès à Internet. Le paradigme s’éloigne ainsi de la simple interface de discussion pour embrasser des processus d’arrière-plan de longue haleine.
La mise à disposition des poids de Kimi K3 combinée à l’ingéniosité de la communauté open-source a permis de valider une preuve de concept capitale. Cette expérience abat le mur infranchissable qui séparait les modèles de plusieurs billions de paramètres des machines individuelles. Voir un modèle MoE de 2,8 billions de paramètres tourner hors ligne sur un terminal grand public marque un tournant historique : la frontière de l’IA déplace progressivement son centre de gravité, de la course à l’entraînement dans le cloud vers l’inférence et la distribution en local.
Liens de référence :
- Discussion sur Hacker News (item?id=49616257)
- GitHub argonautlabsai/deltafin
- HuggingFace moonshotai/Kimi-K3
