Une entreprise spécialisée dans la gravure directe de modèles d’IA sur des wafers de silicium vient d’être rachetée par le géant des semi-conducteurs AMD. Fondée à Toronto en 2023, la startup Taalas affirme que sa puce sur mesure exécute l’IA 48 fois plus vite que les meilleurs GPU du marché, atteignant 17 000 tokens par seconde tout en consommant nettement moins d’énergie. Les modalités financières n’ont pas été divulguées et la transaction devrait être finalisée au quatrième trimestre de cette année. Alors que l’industrie de l’IA s’écharpe dans une guerre des prix liée au coût élevé de l’inférence, le rachat opéré par AMD constitue un pari majeur sur une voie technologique radicalement différente.
Qu’est-ce qu’un modèle : Une longue suite de nombres, une recette
Pour comprendre ce que signifie « gravure de l’IA dans le silicium », il faut d’abord appréhender ce qu’est un modèle d’IA. Un grand modèle de langage entraîné est essentiellement une immense suite de nombres — de quelques milliards à plusieurs billions — appelés dans le jargon des « poids » (weights). Ces chiffres déterminent la façon dont l’IA formule ses réponses : en voyant « Quel temps fait-il », elle prédit « aujourd’hui ». Par analogie, un modèle ressemble à une recette de cuisine : des quantités exactes de farine, de sucre et des minutes de cuisson, autant de données chiffrées décrivant chaque étape de préparation.
Comment un processeur graphique (GPU) exécute-t-il l’IA ? Il agit comme un ustensile de cuisine universel. La recette est posée sur le plan de travail, les ingrédients sont disposés, et le GPU lit la recette tout en pesant et en cuisinant simultanément. L’avantage réside dans sa polyvalence : il peut préparer n’importe quelle recette imaginable. La contrepartie est l’inefficacité : pour chaque plat, il doit relire la recette et repeser les ingrédients, consommant du temps et de l’électricité.
Taalas a inversé la logique : graver la recette directement au fond du faitout. Le faitout sait intrinsèquement comment préparer ce plat précis — plus besoin de lire la recette ni de peser quoi que ce soit ; il suffit d’allumer le feu et le plat est prêt. Ce « faitout » est conçu sur mesure pour un plat unique — un modèle d’IA bien spécifique. Dès la sortie d’usine de la puce, les valeurs chiffrées du modèle sont figées de façon permanente sous forme de circuits physiques dans le silicium. Cette puce ne peut exécuter que ce seul modèle et rien d’autre, mais pour ce modèle précis, sa vitesse est prodigieuse.
Figure : Carte démonstrateur HC1 de Taalas, où le modèle est figé sous forme de circuits physiques dans la puce. Source : taalas.com
17 000 tokens par seconde : Un livre entier généré en quelques secondes
Taalas ne se contente pas d’annoncer des concepts théoriques. En février dernier, la startup a produit son premier composant de test, la puce HC1, gravée en 6 nanomètres par TSMC. On y trouve gravé le modèle open source Llama 3.1 8B de Meta (8 milliards de paramètres). En conditions réelles, la puce a généré 17 000 tokens par seconde. Le token constitue l’unité textuelle de base pour l’IA, représentant environ un demi à trois quarts de mot.
Pour mesurer cette vitesse à l’échelle d’un utilisateur ordinaire : les services comme ChatGPT génèrent actuellement du texte pour les utilisateurs à un rythme de quelques dizaines de tokens par seconde, une vitesse que l’œil humain suit à peine. Atteindre 17 000 tokens par seconde correspond à des dizaines de milliers de mots à la seconde — soit un livre de 100 000 mots généré en une dizaine de secondes. Les comparatifs officiels font état d’une vitesse 48 fois supérieure à celle des GPU NVIDIA. Si l’on prend comme référence le GPU NVIDIA H200 (~230 tokens/s par rapport aux 17 000 tokens/s), l’écart frôle un facteur 74. Quelle que soit la base de calcul, l’ordre de grandeur reste le même : un saut de plusieurs ordres de grandeur.
Figure : Graphique officiel de Taalas comparant le nombre de tokens par seconde par utilisateur pour le modèle Llama 3.1 8B (référence NVIDIA H200). Source : taalas.com
Du point de vue de l’ingénierie, ces données représentent des conditions idéales pour un utilisateur unique et un modèle unique, et les performances réelles en centre de données seront inférieures. Mais même divisées par deux, elles suffisent à redistribuer les cartes économiques de l’inférence IA.
Pourquoi c’est précieux : Chaque réponse de l’IA brûle de l’argent
L’exploitation de l’IA engendre des coûts à deux phases distinctes. L’entraînement — nourrir le modèle avec des données — coûte plus de cent millions de dollars par session, mais ne survient qu’une seule fois. L’inférence — calculer une réponse chaque fois qu’un utilisateur sollicite le modèle — représente un coût opérationnel permanent. À chaque fois que vous posez une question à ChatGPT, des GPU tournent à plein régime en coulisses et consomment de l’électricité.
Le coût d’inférence constitue aujourd’hui le principal verrou à la démocratisation de l’IA. Au cours des deux dernières années, les entreprises de la tech se sont livrées une guerre des prix sur l’inférence, baissant continuellement le coût des API au détriment de leurs marges. Taalas apporte une réponse architecturale : une fois le modèle gravé dans le silicium, il n’est plus nécessaire de lire et de transférer à plusieurs reprises des centaines de gigaoctets de poids depuis la mémoire. Les circuits sont eux-mêmes la donnée. Lors d’une interview accordée en février, Taalas affirmait que le coût de gravure d’un modèle dans le silicium est 100 fois inférieur à celui de l’entraînement d’un modèle de pointe. Bien que cette métrique interne reste à vérifier de manière indépendante, l’orientation globale est crédible : aussi élevé soit le coût de fabrication d’un masque de puce, il reste sans commune mesure avec le coût d’entraînement d’un modèle aux centaines de milliards de paramètres.
Ustensile universel vs Faitout sur mesure : L’affrontement de deux approches
À ce stade, l’opposition entre les deux philosophies d’architecture devient évidente.
Les GPU incarnent la voie universelle : ils peuvent exécuter n’importe quel modèle. Lorsque les modèles évoluent, une simple mise à jour logicielle suffit sans toucher au matériel. La contrepartie est l’efficacité : pour pouvoir tout calculer, la puce intègre une masse de logique générique inutilisée qui consomme de l’énergie, dégage de la chaleur et limite la vitesse.
Taalas incarne la voie dédiée : conçue pour un seul modèle, son architecture est simplifiée à l’extrême, la rendant extrêmement rapide, économe et peu coûteuse à l’usage. La contrepartie est la rigidité : dès sa sortie d’usine, le modèle présent sur la puce est figé pour toujours. Les cartouches de jeux vidéo obéissaient exactement à cette logique : on insérait la cartouche et le jeu se lançait instantanément, mais lors de la sortie d’un nouveau titre, il fallait racheter une cartouche. Les jeux dématérialisés peuvent être mis à jour à tout moment, mais imposent des temps d’attente et de la bande passante.
Le rythme d’actualisation des modèles d’IA est mensuel. Le modèle gravé dans la puce HC1 de Taalas date de mi-2024, ce qui le rend déjà obsolète selon les standards actuels. En cas de mise à jour du modèle, les circuits physiques de la puce ne s’adaptent pas d’eux-mêmes. Des ajustements mineurs peuvent être appliqués à la volée (via des adaptateurs LoRA, comparables à des post-it collés sur un livre de recettes imprimé) ; en revanche, une révision majeure impose une nouvelle fabrication de la puce (re-tapeout). Selon Taalas, changer de modèle ne nécessite de redessiner que deux couches métalliques, ce qui s’avère bien plus économique qu’un développement complet, mais implique toujours de repasser par les lignes de production. Quel modèle mérite ainsi d’être figé dans le silicium ? Seuls ceux largement éprouvés et destinés à servir sur le long terme. Une erreur d’appréciation transforme des baies entières de serveurs en déchets électroniques.
Pourquoi AMD fait ce pari
NVIDIA occupant la part du lion sur le marché des puces d’IA, AMD mène la chasse depuis des années. Si le groupe est parvenu à combler l’écart sur les performances matérielles, l’écosystème logiciel demeure un obstacle : les développeurs d’IA du monde entier sont accoutumés aux outils CUDA de NVIDIA. Face à la difficulté d’un affrontement direct sur le terrain du logiciel, AMD choisit de déplacer le combat en misant sur un nouveau créneau : les puces d’inférence dédiées à un modèle unique.
Les concurrents ne restent pas inactifs. En décembre dernier, NVIDIA a signé un accord de licence de 20 milliards de dollars avec la startup Groq, spécialisée dans les puces d’inférence, visant précisément le même objectif : rendre l’inférence d’IA plus rapide et moins chère. Les deux géants parient ainsi dans la même direction avec des approches complémentaires.
Le fondateur de Taalas, Ljubisa Bajic, ancien PDG de Tenstorrent et ancien collaborateur d’AMD, effectue avec ce rachat un retour aux sources. L’équipe rejoint la division IA d’AMD. Selon les analyses de The Register, l’intention d’AMD consisterait à associer les puces Taalas à ses propres GPU Instinct : les GPU traiteraient le contexte initial des requêtes tandis que les puces Taalas assureraient la génération ultra-rapide des réponses. La communication officielle d’AMD reste mesurée, indiquant simplement que ce rachat vise à « fournir la solution de calcul adaptée à chaque type de charge de travail IA ».
Figure : Capture d’écran de la démonstration produit sur le site officiel de Taalas. Source : taalas.com
Ce que cela signifie pour le grand public
Le coût de fonctionnement de l’IA finit par impacter directement le prix des services proposés aux utilisateurs. Si la gravure des modèles dans le silicium permet de réduire les coûts d’inférence d’un ordre de grandeur, l’IA deviendra nettement moins chère et plus rapide. Elle pourra alors s’intégrer dans les smartphones, téléviseurs, automobiles et appareils électroménagers — des équipements incapables d’accueillir des baies entières de GPU.
Sur les forums de Hacker News, un internaute faisait remarquer : Apple devrait racheter cette entreprise et graver des modèles d’IA dans les puces des iPhone pour proposer un assistant qui répond instantanément sans entamer la batterie. L’idée paraît séduisante, mais la réalité reste éloignée : la carte de test HC1 affiche un encombrement conséquent et le modèle embarqué date de deux ans. Avec des circuits figés sur un modèle dépassé, l’arrivée d’une version supérieure poserait un problème évident : faudrait-il changer de téléphone ?
La compétition entre ces deux visions reste ouverte. Les GPU universels parient sur « l’évolution permanente des modèles », tandis que les puces dédiées misent sur « l’existence de quelques modèles majeurs destinés à durer ». Les premiers privilégiant la flexibilité, les secondes cherchant l’efficacité extrême. Le vainqueur sera désigné par la course de vitesse entre le rythme d’innovation des modèles et les coûts de fixation dans le silicium. Une fois la transaction bouclée au quatrième trimestre, AMD apportera ses premiers éléments de réponse sur le terrain.
Liens de référence :
- The Register : AMD acquires AI chip startup Taalas to boost inference performance by etching models into silicon
- Hacker News : Fil de discussion sur le rachat de Taalas par AMD (item?id=49201970)
- Communiqué de presse officiel d’AMD : AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market
- CNBC : AMD buys Taalas, startup that hardwires AI models into its silicon
- EE Times : AI Chip Startup Taalas Acquired By AMD
- Site officiel de Taalas : Page produit du démonstrateur technologique HC1
- Medium : A Look at Taalas’ HC1 Chip Reaching 16,000 Tokens per Second
