L’examen du pélican à vélo tire sa révérence : l’IA a-t-elle vraiment dompté l’espace ?

Le 2 août, l’un des tests informels les plus célèbres de la génération d’images par IA a été déclaré officiellement mûr pour la retraite. L’annonce est signée Andrej Karpathy, ancien directeur de l’IA chez Tesla et membre fondateur d’OpenAI. Ses mots sur X ont fait mouche : « Nous commençons à dépasser l’ère où l’on évaluait l’IA en lui demandant de dessiner un pélican à vélo. » Le message a accumulé plus de 2,74 millions de vues en 24 heures et a suscité un débat passionné sur Hacker News, grimpant à près de 400 points et plus de 300 commentaires.

Pourtant, dans une section commentaires très animée, l’utilisateur Morromist a tempéré les ardeurs : « Je n’ai encore jamais vu une IA capable de dessiner un pélican à vélo de façon fiable. Même sur les meilleurs rendus, en y regardant de près, il y a toujours un défaut : les deux pattes du même côté du cadre, ou deux becs sur la même tête. »

Le test tire sa révérence, mais dans les faits, le pélican continue de dérailler. Que se passe-t-il réellement en coulisses ?

L’histoire derrière le « test du pélican »

C’est à la fin de l’année 2024 que le développeur Simon Willison a imaginé cette épreuve presque par hasard : demander à une IA de générer l’image d’un « pélican chevauchant une bicyclette ». Ce qui avait débuté comme une boutade s’est transformé en deux ans en un benchmark informel incontournable de la communauté IA — cité dans plus de 130 articles et imposé comme passage obligé à chaque sortie de nouveau modèle vision.

Pourquoi ce prompt s’avère-t-il si redoutable ? Un découpage de la requête en révèle la complexité spatiale : un pélican (anatomie aviaire), un vélo (assemblage mécanique) et l’action de le chevaucher (interaction spatiale entre les deux). Réunir ces trois éléments pousse les modèles de diffusion dans leurs retranchements.

L’IA ne possède aucune compréhension de la physique ; elle fonctionne par reconnaissance de motifs. Elle a ingéré des millions de photos d’oiseaux et de vélos sur Internet. Mais dans l’histoire humaine, rares sont les clichés montrant un pélican pédalant réellement. Le modèle ne peut pas se contenter d’un copié-collé : il doit synthétiser sur le champ deux concepts distincts selon des règles spatiales. Or, la synthèse d’interactions mécaniques inédites constitue précisément le point faible de la génération d’images. Excellente pour imiter des scènes familières, l’IA flanche lorsqu’elle doit assembler des éléments inconnus sous des contraintes physiques. C’est l’équivalent de demander à quelqu’un qui n’a jamais fait de vélo de dessiner un cycliste : la personne et le vélo paraissent crédibles séparément, mais la position des pédales, de la chaîne et du guidon relève du pur devinement.

Deux ans de ratés mémorables

Au cours des deux dernières années, la collection des « copies du pélican » a offert une véritable galerie d’incohérences : des pélicans pédalant avec les deux pattes du même côté du cadre (une posture qui provoquerait une chute immédiate dans la réalité), des oiseaux affublés de deux becs, des roues dépourvues de rayons, des cadres flottant dans les airs et des guidons reliés au vide.

Image : Rendu d’un modèle phare en mode par défaut. Le pélican ne chevauche pas le vélo, il stagne au-dessus. Source : simonwillison.net

Les modèles plus modestes livraient quant à eux des œuvres abstraites : deux cercles bleus, un rectangle brun et un pâté orange informe faisaient office de « pélican à vélo ».

Image : Réponse d’un modèle ultra-léger au même prompt, où pélican et vélo sont pratiquement méconnaissables. Source : simonwillison.net

À la fin du mois dernier encore, lorsque Simon Willison a testé les tout derniers modèles, le mode par défaut produisait toujours des pélicans en lévitation et des cadres brisés. Il a fallu pousser le curseur du « mode de réflexion étendu » (raisonnement approfondi) pour obtenir une image cohérente. Plusieurs observateurs ont d’ailleurs souligné que les pélicans de Claude n’avaient pas connu de progression spectaculaire sur une période de 18 mois.

Pourquoi déclarer la « fin de l’examen » aujourd’hui ?

La position de Karpathy ne signifie pas que le problème est résolu, mais plutôt que le test a perdu sa capacité de discrimination.

En métrologie des modèles, la valeur d’une épreuve repose sur sa capacité à séparer les performances. Quand toute la classe obtient 3/20, l’examen met en lumière les lacunes ; quand tout le monde affiche 19/20, l’épreuve devient inutile pour classer les élèves. Le benchmark du pélican a atteint ce point de saturation : la plupart des grands modèles parviennent désormais à générer une image acceptable au premier coup d’œil. Le débat a glissé du « qui commet des erreurs » au « quel pélican est le plus esthétique », transformant un test d’aptitude technique en une querelle de goût.

Karpathy a donc proposé un nouveau défi : fournir à l’IA le premier paragraphe du Seigneur des Anneaux, lui allouer 1 million de tokens de réflexion (soit environ 10 dollars de puissance de calcul) et lui demander de coder de toutes pièces une scène 3D interactive. Après 2 heures de traitement et 5 500 lignes de code, l’IA a mis sur pied une réplique 3D d’Hobbitebourg entièrement explorable, assortie d’une bande sonore incluant la chanson de Tom Bombadil. Karpathy a plaisanté : « Attention, ‘GTA Hobbitebourg’ pourrait bien sortir avant GTA VI. »

Image : Résultat obtenu avec le même modèle et le même prompt après avoir augmenté l’intensité de réflexion. Le saut qualitatif est flagrant par rapport à l’image précédente. Source : simonwillison.net

Obtenir la moyenne n’est pas savoir créer

Il existe un piège subtil qu’il convient de ne pas ignorer : réussir un examen n’est pas équivalent à maîtriser une compétence.

La première raison tient à l’effet d’entraînement ciblé (« contamination du benchmark »). Après deux ans de viralité autour du pélican, les jeux de données d’entraînement ont inévitablement ingéré de nombreuses illustrations et réponses relatives à ce cas précis. Un score parfait peut résulter d’un apprentissage par cœur plutôt d’une réelle compréhension de la géométrie et de la physique. Ce n’est pas une simple hypothèse : des chercheurs ont évalué 7 modèles majeurs sur 48 combinaisons d’« animal + véhicule » (un flamant rose sur un skateboard, un héron à la barre d’un bateau, etc.) et ont constaté que les pélicans n’étaient nullement mieux réussis que les autres animaux. Si l’IA avait réellement assimilé les relations spatiales, pourquoi cette maîtrise se limiterait-elle au seul pélican ? Cela indique clairement que ce prompt a été sur-entraîné.

La deuxième raison est qu’une fois un benchmark rendu public et généralisé, il devient impossible de distinguer dans les résultats l’amélioration réelle de la simple mémorisation de la correction. L’épreuve cesse d’évaluer une capacité globale pour ne mesurer qu’un niveau de familiarité. Le changement de test opéré par Karpathy est l’aveu implicite que le jeu de données du pélican est désormais pollué.

La troisième raison réside dans la persistance des faiblesses structurelles de l’IA. Karpathy a lui-même reconnu que lors de la création de scènes 3D, l’IA ne peut pas « observer » directement son propre travail en temps réel : elle doit se fier à des captures d’écran régulières qu’elle interprète parfois de travers. Cette incapacité à inspecter visuellement ce qu’elle produit est la cause fondamentale des déboires du pélican : l’IA ne dispose d’aucun retour visuel pour s’apercevoir que « deux pattes ne devraient pas se retrouver sur la même pédale ».

Quelles leçons pour les utilisateurs ?

La prochaine fois que vous examinerez une image produite par IA — tout particulièrement si elle implique des mécanismes, des mouvements coordonnés ou des interactions complexes entre plusieurs objets —, la prudence reste de mise. Pour des paysages, des affiches ou des illustrations d’ambiance, l’IA se montre particulièrement mûre et efficace. En revanche, dès lors qu’il s’agit de schémas techniques, de vues éclatées ou d’interactions nécessitant un sens aigu de l’espace, les imperfections continuent de se nicher dans les détails.

Il y a deux ans, lors de l’apparition du test du pélican, on s’étonnait que l’IA échoue sur un concept aussi élémentaire. Deux ans plus tard, alors que le test tire sa révérence, le débat porte sur la question de savoir si l’IA comprend véritablement ce qu’elle dessine. Le grand enseignement de cette saga du pélican est bien celui-ci : les scores d’un examen peuvent atteindre la maturité, mais l’évaluation des capacités fondamentales ne s’arrête jamais. Le prochain examinateur attend déjà sur le pas de la porte.

Liens de référence :

• Publication d’Andrej Karpathy sur X (annonce du retrait du test & démo 3D du Seigneur des Anneaux)
• Fil de discussion Hacker News (« Karpathy’s Pelican », près de 400 points et +300 commentaires)
• Simon Willison : page du tag pelican-riding-a-bicycle (+130 articles associés)
• Simon Willison : Kimi K3 et ce que nous enseigne le benchmark du pélican
• Dylan Castillo : Les laboratoires d’IA pratiquent-ils en secret le « pelicanmaxxing » ?