Sur un site comptant 1,5 million de pages, 99 % des visites enregistrées au cours de l’année écoulée provenaient de robots – non pas de lecteurs humains, mais de crawlers envoyés par des entreprises d’IA. Les visiteurs humains ne représentaient que 1 %. Ces chiffres ont été révélés par le webmaster Nick dans un article intitulé 99% of My Website Traffic Is Bots, qui a suscité plus de 300 commentaires sur Hacker News.
Une autre statistique donne le tournis : en une seule semaine, le crawler de recherche d’Anthropic (l’entreprise qui développe Claude) a aspiré 420 000 pages de son site. Au cours de la même semaine, Claude ne lui a renvoyé en tout et pour tout que 12 visiteurs humains. 420 000 pages aspirées contre 12 visiteurs : voilà le résumé parfait de l’économie du Web à l’ère de l’IA.
Nick vit lui-même de l’écosystème web en compilant des archives et données publiques. Dans son article, il fait preuve d’auto-dérision : « Mes propres données ont été initialement rassemblées en aspirant des documents publics. Je sais bien qu’un crawler qui se plaint des crawlers peut sembler ironique. » Mais cette franchise donne plus de poids à sa réaction : quand même les acteurs du secteur trouvent que les limites sont franchies, c’est que la situation est devenue intenable.
Pourquoi les crawlers d’IA aspirent-ils votre site en cachette ?
Les grands modèles de langage (LLM) ne possèdent pas de connaissances innées. Si ChatGPT ou Claude peuvent répondre à vos questions, c’est parce qu’ils ont ingéré la quasi-totalité des textes du Web durant leur phase d’entraînement. D’où viennent ces textes ? Ils ont été collectés page par page par des crawlers sur des milliers de sites.
Les crawlers agissent comme des livreurs pour les entreprises d’IA. À une différence près : emprunter un livre dans une bibliothèque nécessite une inscription, alors que les crawlers emportent les contenus sans demander la moindre permission. Selon Cloudflare (le géant de la protection web), en juin 2026, 57,5 % des requêtes web sur son réseau provenaient de crawlers d’IA. En clair, lorsque vous ouvrez une page web, plus de la moitié des visiteurs ne sont pas des êtres humains.
Cloudflare a également publié un « ratio de conversion aspiration/visites » (Crawl-to-Click Ratio) : combien de pages une plateforme doit-elle aspirer avant de renvoyer un seul visiteur sur le site source ? Anthropic détient le record le plus disproportionné : début 2025, il lui fallait environ 280 000 pages aspirées pour générer 1 visiteur, un chiffre tombé à 38 000 pages par visiteur au milieu de l’année, ce qui reste énorme. OpenAI tourne autour de 1 400 pages par visiteur, tandis que Perplexity est passé de 55 à 195 pages par visiteur. La majeure partie de ces pages finit dans les moteurs d’entraînement : 80 % du trafic des crawlers d’IA sert à l’entraînement des modèles, et seulement 2 % correspond à des clics d’utilisateurs depuis les interfaces de chat.
Figure : Comparaison du ratio aspiration/visites entre les principales plateformes d’IA. Source : Blog officiel de Cloudflare
Un accord de principe ne suffit plus face à ceux qui ignorent les règles
Pour éviter d’être aspiré, un site s’appuie généralement sur un fichier nommé robots.txt – un panneau « Défense d’entrer » placé à la porte, que les moteurs de recherche et les sociétés d’IA sont censés respecter. Le mot important ici est « censés ». Conçu aux premiers jours d’Internet, ce protocole est un accord de principe sans police ni sanctions. Le respecter relève de la courtoisie ; l’ignorer ne comporte aucune conséquence directe.
Nick avait configuré son fichier robots.txt avec précision : il spécifiait quels contenus étaient autorisés pour l’indexation de recherche et lesquels étaient interdits pour l’entraînement de l’IA. Le résultat ? Cloudflare a révélé en 2025 que Perplexity utilisait des crawlers furtifs non déclarés pour contourner les directives de blocage des sites. D’autres crawlers se font passer pour des navigateurs classiques – des internautes ont plaisanté en remarquant que les robots tournaient sous « la dernière version de macOS » et naviguaient de manière plus fluide que les humains. Nick a testé le système de vérification non interactif de Cloudflare (une détection de bots sans impact sur les utilisateurs), mais les crawlers l’ont traversé sans difficulté, à sa propre surprise.
Figure : Trafic des crawlers d’IA classé par utilisation. Source : Blog officiel de Cloudflare
La facture de la défense : Explosion des coûts, dégâts collatéraux et jeu du chat et de la souris
Faute de règles respectées, il faut renforcer la sécurité. La facture d’hébergement mensuelle de Nick s’élève habituellement à environ 90 dollars. Lors des mois d’aspiration intense, sa facture a bondi de près de 500 %. La bande passante du serveur a été dévorée par les bots, la base de données a planté à plusieurs reprises, et ses statistiques de fréquentation sont devenues totalement inexploitables : « Je voulais savoir ce que les vrais lecteurs lisaient pour orienter la suite, mais mes données étaient noyées sous les bots. »
Il a également documenté la stratégie d’attaque des crawlers. En novembre 2025, en l’espace de quelques jours, 4 000 « visiteurs » ont déferlé sur le site. Chacun n’a consulté qu’une seule page avant de repartir immédiatement (taux de rebond de 99 %), sans site référent, en ciblant spécifiquement des pages de données financières que seuls 10 % des vrais lecteurs consultent. Nick ajoute froidement : ces 4 000 visites n’étaient qu’un échauffement.
Dans les commentaires, d’autres propriétaires de petits sites ont partagé des mésaventures édifiantes. Le gérant d’un site néerlandais de réservation de bateaux a raconté que des crawlers d’IA cliquaient frénétiquement des milliers de fois par jour sur le bouton « mois suivant » du calendrier jusqu’à bloquer l’outil. Un autre administrateur a vu son site assailli par des centaines de faux comptes créés par des bots avant même le lancement officiel, le contraignant à en supprimer 100 manuellement chaque jour. Lorsqu’on bloque une plage d’adresses IP, les crawlers basculent instantanément sur des adresses IP résidentielles, revenant comme des livreurs munis d’une nouvelle carte d’identité. Il est impossible de tous les bloquer : c’est le jeu du chat et de la souris, et la souris a beaucoup plus d’argent.
Le problème le plus grave reste les dégâts collatéraux. Nick a mis en place des vérifications CAPTCHA (« prouvez que vous êtes un humain »), mais les utilisateurs humains détestent ces mécanismes. Les utilisateurs de VPN subissent des vérifications sans fin, et ceux qui utilisent d’anciens navigateurs se voient carrément refuser l’accès. Un lecteur a témoigné : « Dès que je vois une page affichant ‘vérification que vous êtes un humain’, je ferme immédiatement l’onglet. » Un autre lecteur a raconté qu’il souhaitait acheter un appareil électroménager de 2 000 dollars en surveillant les prix via un script ; le système anti-bot du marchand a été tellement agressif qu’il a fini par bloquer son accès manuel au site – résultat, il n’achètera plus jamais chez ce commerçant. Une défense excessive écarte les vrais acheteurs : c’est un coût caché considérable de la lutte anti-bot.
L’auteur de cet article l’a d’ailleurs constaté par lui-même en faisant ses recherches : en tentant d’ouvrir l’article original de Nick, une ligne s’est affichée à l’écran – « Désolé, vous avez été bloqué » – le prenant pour un bot. Après un an de guerre, le webmaster a fini par bloquer les lecteurs humains qui voulaient lire son travail. C’est précisément ce paradoxe qui a alimenté les débats les plus vivaces sur Hacker News.
La vraie question : Qui décide de qui a accès au Web ?
Le commentaire le plus voté sur Hacker News résumait ainsi le dilemme : sous-traiter la décision de « qui peut consulter votre site » à une entreprise comme Cloudflare revient à laisser une seule grande société fixer les frontières du Web ouvert. Si elle vous étiquette comme bot, vous n’êtes plus un visiteur, sans aucun moyen de faire appel.
Les avis contraires sont tout aussi tranchés. Certains estiment que du contenu publié publiquement est destiné à être lu, et que l’auteur ne peut pas contrôler les outils utilisés par le lecteur – tout comme un écrivain ne peut dicter la façon dont un lecteur tourne les pages d’un livre. D’autres répliquent : si vous tenez un magasin, n’avez-vous pas le droit d’en expulser les voleurs ? Un autre internaute a ajouté avec un humour noir : même si vous publiez un livre sur papier, les entreprises d’IA l’aspireront quand même ; même le papier ne peut les arrêter.
Plus qu’un vol de données : Les moteurs de recherche ne renvoient plus de visiteurs
Les petits sites subissent une seconde perte, plus silencieuse : les moteurs de recherche ne leur envoient plus de trafic. Cloudflare a analysé le trafic de plusieurs sites d’actualité et a constaté que les visiteurs envoyés par Google ont chuté dès février 2025 – en baisse de 9 % en mars par rapport à janvier, puis de 15 % en avril. Cette période coïncide exactement avec le déploiement des « AI Overviews » de Google, qui génèrent directement les réponses sur la page de recherche sans rediriger vers les sites sources. Auparavant, les utilisateurs cherchaient une question et cliquaient pour lire l’article original ; aujourd’hui, la réponse apparaît directement sur le moteur de recherche, enlevant au site toute opportunité d’obtenir un clic.
Nick exprime son dilemme en toute franchise : « Je veux que des moteurs comme Google ou Bing explorent mon site parce qu’ils m’apportent de nouveaux lecteurs ; mais je ne veux pas que tous les autres considèrent mon site comme une mine à ciel ouvert. » La difficulté technique réside dans le fait qu’un serveur ne peut pas distinguer les crawlers qui apportent du trafic de ceux qui se contentent d’aspirer les données – ce sont tous des bots, seule leur motivation diffère. L’accès est coupé par l’IA et le contenu est vidé par l’IA : les petits éditeurs saignent des deux côtés.
Pourquoi cette guerre concerne directement tous les utilisateurs
Cette confrontation a des conséquences bien plus vastes qu’on ne le pense. La qualité des réponses fournies par une IA dépend directement des contenus qu’elle a ingérés. Si l’ensemble des créateurs du Web arrêtent de publier parce qu’ils sont spoliés sans compensation, l’IA ne s’alimentera plus que de contenus obsolètes et réenroulés sur eux-mêmes. Alors que les grandes plateformes peuvent négocier des accords de licence payants avec les géants de l’IA, les petits sites web ne touchent pas un centime tout en payant de leur poche l’explosion des frais de serveur. Certaines plateformes ont déjà porté plainte contre les sociétés d’IA, tandis que d’autres envisagent de fermer leurs sites derrière des murs d’authentification.
Des entreprises comme Cloudflare promeuvent désormais le concept de « capture payante » (Pay-per-crawl) – contraignant l’IA à payer chaque fois qu’elle extrait du contenu. Nul ne sait si ce modèle s’imposera, mais il pose clairement la question centrale : à l’ère de l’IA, le contenu web doit-il continuer d’être fourni gratuitement aux machines ?
Il ne s’agit pas de prendre parti aveuglément. Du côté du webmaster, voir son travail exploité gratuitement pendant un an tout en voyant sa facture d’hébergement multiplier par cinq suscite une colère compréhensible. Du côté du lecteur, voir le Web enfermé derrière des CAPTCHA et des formulaires de connexion n’est pas non plus le monde souhaité. Une seule chose est sûre : le principe fondateur selon lequel « un site web est fait pour être lu par des humains » est en train d’être réécrit en silence. La prochaine fois que vous chercherez une information auprès d’une IA, demandez-vous d’où provient sa réponse et si le petit site qui l’a rédigée a touché quoi que ce soit.
Liens de référence :
- PatronView: 99% of My Website Traffic Is Bots
- Discussion HN (item?id=49211386)
- Cloudflare: The Crawl-to-Click Gap (Rapport de données sur les crawlers d’IA et le trafic référent)
- Blog Cloudflare: From Googlebot to GPTBot (Évolution des parts de marché des crawlers d’IA)
