Le 5 août, la société de bases de données Neon a publié un rapport d’évaluation surprenant : un petit modèle open source de 4 milliards de paramètres (fondé sur le modèle Qwen3.5 d’Alibaba), affiné par apprentissage par renforcement, a obtenu un score de 1,447 sur une tâche spécialisée de recherche documentaire (« retrieval »). En comparaison, GPT-5.6 Sol, le modèle frontière le plus coûteux d’OpenAI, s’est hissé à 1,369. Le petit modèle open source s’est imposé, avec un coût d’exécution par requête environ 100 fois inférieur à celui de son concurrent propriétaire.
Cette annonce a rapidement généré près de 200 votes positifs et des dizaines de commentaires sur Hacker News, suscitant autant d’enthousiasme que de scepticisme. Nous analysons ici ce que recouvre réellement la tâche de recherche, comment cet écart de coût de 1 à 100 est calculé, et dans quelle mesure ces résultats sont crédibles.
La recherche documentaire : la première étape essentielle des IA
Pour comprendre cette avancée, il convient d’abord de définir la recherche (« retrieval »). Lorsque vous demandez à un assistant IA « Combien de jours à l’avance dois-je réserver un billet de train pour les notes de frais ? », l’IA ne recite pas de mémoire l’intégralité des archives de l’entreprise. Elle localise le bon rayon dans la bibliothèque, extrait le manuel adéquat, l’ouvre à la bonne page et vous en lit le passage. Cette action de recherche et d’extraction de contexte constitue le processus de retrieval.
La précision de réponse des outils comme ChatGPT dépend pour moitié de cette phase de recherche. Si les bons documents sont identifiés, la qualité globale de la réponse est assurée. En revanche, si la recherche échoue, la génération de texte la plus fluide produira inévitablement des hallucinations. Dans un cadre d’entreprise (bots de support client ou bases de connaissances internes), l’IA doit extraire l’information pertinente parmi des milliers de manuels, tickets et documentations.
Figure : Comparaison des flux de travail entre la recherche traditionnelle (requête unique) et la recherche agentique (processus itératif à plusieurs étapes). Source : neon.com
Auparavant, la recherche s’effectuait en une seule passe. Aujourd’hui, les flux IA agentiques imitent la démarche d’un chercheur humain : ils effectuent une première requête, évaluent les résultats, affinent la recherche et réitèrent sur plusieurs étapes. Neon a calculé que l’exécution d’un tel cycle itératif avec GPT-5.6 Sol nécessite plus de 10 secondes et coûte environ 3 cents par requête. Chaque étape de recherche supplémentaire consommant des tokens d’un modèle frontière très cher, la recherche est devenue l’un des maillons les plus coûteux du processus.
Pourquoi la recherche est-elle le premier domaine à basculer ?
Pourquoi un petit modèle open source a-t-il réussi à dépasser un géant propriétaire précisément sur ce type de tâche ? Trois raisons principales l’expliquent.
En premier lieu, le périmètre de la tâche est très ciblé. L’objectif de la recherche documentaire est simple : trouver le bon document. Spécialiser un modèle sur cette unique fonction est beaucoup plus accessible que de concevoir un modèle polyvalent. Comme le résumait un commentaire sur Hacker News : « On n’embauche pas un docteur pour travailler sur une chaîne d’assemblage. » Pour des tâches de recherche répétitives et structurées, un modèle spécialisé et léger s’avère amplement suffisant.
En deuxième lieu, l’évaluation est objective. La présence ou l’absence du bon document peut être vérifiée automatiquement par des machines. Cette objectivité favorise l’apprentissage par renforcement (RL) : le modèle utilise les outils de recherche par essais et erreurs, recevant des récompenses en cas de succès et des pénalités en cas d’échec. Après des dizaines de milliers d’itérations, le modèle apprend quand et quoi chercher. Le score moyen de récompense du modèle de Neon est passé de 0,382 avant entraînement à 1,447 après. Cette progression des compétences est le fruit d’un entraînement ciblé, prouvant la maturité des techniques d’affinage open source sans nécessiter un entraînement complet à partir de zéro.
Figure : Le score moyen de récompense augmente régulièrement au fil des étapes d’entraînement. Source : neon.com
En troisième lieu, les données restent au sein de l’entreprise. Les organisations peuvent convertir automatiquement leurs documents internes en jeux de questions-réponses pour alimenter leur pipeline d’affinage. Les données confidentielles ne quittent jamais le réseau de l’entreprise, répondant ainsi aux exigences de sécurité et de confidentialité.
Le calcul des 100 fois : les chiffres en détail
L’affirmation selon laquelle un modèle est « 100 fois moins cher » peut ressembler à un argument marketing, mais elle repose sur des chiffres vérifiables.
Examinons d’abord les tarifs par token des API. GPT-5.6 Sol est facturé 5,00 USD par million de tokens en entrée et 30,00 USD par million de tokens en sortie. Les petits modèles open source hébergés coûtent environ 0,03 USD (entrée) et 0,15 USD (sortie) par million de tokens, ce qui représente un écart direct sur les tarifs de 160 à 200 fois.
Regardons ensuite les coûts réels mesurés par requête. Neon indique un coût moyen par requête de recherche de 0,0873 USD pour GPT-5.6 Sol, contre 0,00092 USD pour le modèle de 4B paramètres. Cela donne un rapport réel de 94,9 fois, arrondi publiquement à « 100 fois ».
Figure : Coût par requête en axe X par rapport au score d’évaluation en axe Y (le coin supérieur gauche est optimal). Source : neon.com
Rapporté à une échelle industrielle : une entreprise effectuant 100 000 requêtes de recherche par jour débourserait environ 8 700 USD par jour (plus de 260 000 USD par mois) avec Sol, contre seulement 92 USD par jour avec le petit modèle spécialisé. À grande échelle, un tel écart de coût conditionne la viabilité économique d’un service. La guerre des prix dans l’IA se déplace ainsi des remises sur les API vers le remplacement par des modèles spécialisés.
Controverses : les deux arguments en présence
La critique la plus vive concerne la méthodologie d’évaluation. La comparaison a été réalisée en interne par Neon sur un jeu de données synthétique propriétaire ; l’ensemble des questions n’a pas été rendu public et aucun benchmark standardisé (comme BEIR) n’a été utilisé. Plusieurs utilisateurs sur Hacker News ont exprimé leur scepticisme quant aux benchmarks fournis par les éditeurs, rappelant que « tous les benchmarks sont optimisés en faveur de leur auteur ». Une analyse indépendante d’AI Pricing Guru a également souligné le manque de métriques numériques détaillées, rendant la reproduction indépendante difficile.
Cependant, les défenseurs avancent des contre-arguments solides. Les critères d’évaluation en recherche sont relativement objectifs et la courbe de progression (0,382 → 1,447) montre une amélioration tangible. Dans la communauté, plusieurs développeurs ont indiqué que les petits modèles spécialisés dépassent souvent les grands modèles généralistes lorsqu’il s’agit de trouver des faits précis, ces derniers ayant tendance à trop raisonner ou à s’égarer sur des requêtes simples. En outre, la différence de prix sur les tokens reste un fait indiscutable.
Notre analyse est que l’écart de coût d’un facteur 100 est réel, tandis que le gain de performance ne vaut pour l’instant que dans le cadre défini par l’entreprise. On constate même dans le texte du blog de Neon une divergence entre le coût par requête mentionné (~3 cents) et celui du graphique (8,7 cents), ce qui illustre la complexité des modes de calcul. Dans le monde réel, les documents sont obsolètes, les requêtes ambiguës et les informations enfouies. Seul un déploiement à grande échelle confirmera si les petits modèles maintiennent leur avantage en production. Pour des tâches complexes comme la programmation ou le raisonnement long, les modèles spécialisés sont encore loin de remplacer les géants généralistes.
Où s’oriente la guerre des prix de l’IA ?
Au-delà des débats, cette étude met en lumière une tendance de fond : l’architecture de l’IA évolue des modèles géants monolithiques vers des ensembles de modèles spécialisés et économiques. Pour les entreprises, cela signifie que les outils d’IA internes (bases de connaissances, support client) deviennent nettement plus abordables.
Pour l’écosystème, la bataille des prix ne porte plus seulement sur le coût du token, mais sur le choix du modèle le plus adapté à chaque tâche. Chaque fois qu’un petit modèle open source rejoint un modèle propriétaire sur une tâche précise, le pouvoir de tarification des API fermées s’effrite. La recherche n’est que la première étape de cette décomposition – elle ne sera certainement pas la dernière.
Liens de référence :
- Blog Neon : How Castform + Neon Beats Frontier Models on Price and Efficiency
- Discussion Hacker News (item?id=49186762)
- AI Pricing Guru : Castform Beats GPT-5.6 Sol: Cost Impact (August 2026)
