Auf einer Website mit 1,5 Millionen Seiten stammten im vergangenen Jahr 99 % aller Zugriffe von Bots – keine menschlichen Leser, sondern Crawler im Auftrag von KI-Unternehmen. Echte Besucher machten lediglich 1 % aus. Diese Zahlen veröffentlichte der Website-Betreiber Nick kürzlich in seinem Artikel 99% of My Website Traffic Is Bots, der auf Hacker News über 300 Kommentare auslöste.
Noch drastischer wird es beim Blick auf die Details: In einer einzigen Woche erfasste der Such-Crawler von Anthropic (dem Entwickler von Claude) 420.000 Seiten seiner Website. Im selben Zeitraum brachte Claude ihm insgesamt ganze 12 menschliche Besucher ein. 420.000 abgeerntete Seiten für 12 Besucher – dieses Verhältnis bringt das „Website-Geschäft im KI-Zeitalter“ auf den Punkt.
Nick verdient seinen Lebensunterhalt selbst im Netz, indem seine Website öffentliche Archivdaten aufbereitet. In seinem Beitrag gibt er sich selbstironisch: Seine eigenen Daten stammten ursprünglich ebenfalls aus dem Scrapen öffentlicher Dokumente. Dass nun ein Crawler-Betreiber über Crawler klage, sei ihm als Ironie durchaus bewusst. Doch genau diese Ehrlichkeit verleiht seinen Worten Gewicht: Wenn selbst Akteure aus der Branche die Grenze erreicht sehen, ist das Maß voll.
Warum KI-Unternehmen Ihre Website heimlich crawlen
Große Sprachmodelle (LLMs) besitzen kein angeborenes Wissen. Systeme wie ChatGPT oder Claude können Fragen nur deshalb beantworten, weil sie während ihrer Trainingsphase fast den gesamten Text des Internets eingelesen haben. Woher stammen diese Texte? Sie wurden von Crawlern Seite für Seite von Websites kopiert.
Crawler agieren wie digitale Paketzusteller für KI-Konzerne. Der Unterschied: In einer Bibliothek muss man Bücher ausleihen, während Crawler Inhalte ohne Nachfragen mitnehmen. Zahlen von Cloudflare (dem weltweit größten Website-Schutzdienst) zeigen, dass im Juni 2026 57,5 % aller Webanfragen in ihrem Netzwerk von KI-Crawlern stammten. Mehr als die Hälfte der Aufrufe beliebiger Webseiten stammt somit gar nicht von Menschen.
Cloudflare veröffentlichte zudem ein „Crawl-to-Click-Verhältnis“: Wie viele Seiten liest eine Plattform ab, bevor sie dem Betreiber einen einzigen Besucher zurückschickt? Anthropic führt das Feld im negativen Sinne an: Anfang 2025 brauchte das Unternehmen etwa 280.000 gecrawlte Seiten für einen Besucher; Mitte des Jahres sank der Wert auf 38.000 Seiten pro Besucher. OpenAI benötigte etwa 1.400 Seiten pro Besucher, während Perplexity von 55 auf 195 Seiten stieg. Die überwiegende Mehrheit der gecrawlten Seiten fließt direkt in die Trainingspipeline – 80 % des KI-Crawl-Traffics dienen dem Modelltraining, nur 2 % entstehen durch aktive Klicks von Nutzern im Chatfenster.
Abb.: Vergleich des Crawl-to-Click-Verhältnisses führender KI-Plattformen. Quelle: Offizieller Cloudflare-Blog
Ein Ehrenkodex stoppt keine Regelbrecher
Wenn Betreiber das Scrapen verhindern wollen, greifen sie auf eine Datei namens robots.txt zurück – ein digitales Schild an der Tür mit der Aufschrift „Zutritt verboten“, das Suchmaschinen und KI-Firmen eigentlich respektieren sollten. Die Betonung liegt auf „eigentlich“. Dieses Protokoll stammt aus den Frühzeiten des Internets und basiert auf einem reinen Ehrenkodex ohne Polizei oder Strafen. Es einzuhalten ist Höflichkeit; es zu ignorieren bleibt ohne unmittelbare Konsequenzen.
Nick hatte in seiner robots.txt detaillierte Vorgaben definiert: welche Inhalte für Suchindizes erlaubt und welche für KI-Training untersagt sind. Das Ergebnis? Cloudflare berichtete 2025, dass Perplexity unangemeldete Tarn-Crawler einsetzte, um Sperranweisungen von Websites zu umgehen. Andere Crawler maskierten sich als reguläre Browser – Kommentatoren spotteten, dass Bots auf dem „neuesten macOS“ unterwegs seien und flüssiger durch die Seiten navigierten als echte Nutzer. Nick testete Cloudflares nicht-interaktive Bot-Prüfung, musste jedoch erstaunt feststellen, dass die Crawler auch diese Hürde mühelos überwandten.
Abb.: KI-Crawler-Traffic nach Verwendungszweck. Quelle: Offizieller Cloudflare-Blog
Die Rechnung der Verteidigung: Kosten, Kollateralschäden und ein Katz-und-Maus-Spiel
Wenn Regeln nicht helfen, wird die Abwehr aufgerüstet. Nicks Website verursacht normalerweise monatliche Kosten von etwa 90 US-Dollar. In den intensivsten Crawl-Monaten stieg die Rechnung jedoch um fast 500 %. Der Server-Traffic wurde von Bots aufgebraucht, Datenbanken brachen wiederholt zusammen und seine Besucherstatistiken wurden komplett wertlos: „Ich wollte wissen, was echte Menschen lesen, um nächste Schritte zu planen, aber die Daten waren vollständig von Bots überflutet.“
Er dokumentierte auch die Angriffsmuster der Crawler. Im November 2025 strömten innerhalb weniger Tage 4.000 „Besucher“ herbei. Jeder öffnete exakt eine Seite und verließ das Angebot sofort – eine Absprungrate von 99 % ohne Herkunftswebsite, wobei gezielt Fonds-Datenseiten angesteuert wurden, die sonst nur von 10 % der echten Leser aufgerufen werden. Nick merkte trocken an: Diese 4.000 Aufrufe waren erst das Aufwärmen.
In den Kommentaren meldeten sich zahlreiche Betreiber kleinerer Websites mit skurrilen Erlebnissen. Der Betreiber einer niederländischen Bootsvermietung berichtete, dass KI-Crawler auf dem Kalender-Widget täglich tausendfach auf „nächster Monat“ klickten, bis das System kollabierte. Ein anderer hatte vor dem offiziellen Launch bereits Hunderte von Bot-Registrierungen auf seiner Seite und musste täglich 100 Fake-Accounts manuell löschen. Sperrt man eine IP-Adresse, wechseln die Crawler sofort auf Wohnort-IPs (Residential Proxies) und kehren wie Paketboten mit neuem Ausweis zurück. Man kann sie nicht alle blockieren – es ist ein Katz-und-Maus-Spiel, bei dem die Mäuse über weit mehr Geld verfügen.
Noch schwerer wiegen die Kollateralschäden. Nick führte CAPTCHA-Tests ein („Beweisen Sie, dass Sie ein Mensch sind“), doch echte Nutzer verabscheuen diese Hürden. VPN-Nutzer geraten in unendliche Prüfschleifen, Besucher mit älteren Browsern werden komplett ausgesperrt. Ein Leser kommentierte: „Sobald ich eine Seite sehe, die prüft, ob ich ein Mensch bin, schließe ich den Tab.“ Ein anderer Leser schilderte, wie er ein Haushaltsgerät für 2.000 Dollar kaufen wollte und die Preise per Skript überwachte. Das Anti-Bot-System des Händlers reagierte so aggressiv, dass selbst sein manueller Aufruf der Website blockiert wurde – bei diesem Händler wird er nie wieder bestellen. Übertriebene Abwehr sperrt echte Käufer aus – eine massive versteckte Rechnung der Bot-Abwehr.
Der Autor dieses Artikels erlebte es bei der Recherche am eigenen Leib: Beim Versuch, Nicks Originalartikel aufzurufen, erschien die Meldung „Entschuldigung, Sie wurden blockiert“. Nach einem Jahr Abwehrkampf blockierte der Webmaster schlussendlich genau jene menschlichen Leser, die seinen Text lesen wollten. Genau diese Ironie löste auf Hacker News die hitzigste Debatte aus.
Die größere Frage: Wer entscheidet, wer das Web nutzen darf?
Der am höchsten bewertete Kommentar auf Hacker News brachte es auf den Punkt: Die Entscheidung darüber, wer eine Website besuchen darf, an ein Großunternehmen wie Cloudflare auszulagern, bedeutet, die Grenzen des freien Internets einem einzelnen Konzern zu überlassen. Wirst du als Bot eingestuft, bist du kein Besucher mehr – ohne jegliche Einspruchsmöglichkeit.
Die Gegenposition argumentiert ebenso entschieden: Wer Inhalte öffentlich ins Netz stellt, tut dies, damit sie gelesen werden. Der Autor könne nicht bestimmen, mit welchen Werkzeugen der Leser zugreift – genauso wenig wie ein Schriftsteller vorschreiben könne, wie der Leser die Seiten eines Buches umblättert. Andere entgegnen: Darf ein Ladengeschäft etwa keine Ladendiebe vor die Tür setzen? Ein anderer Kommentator fügte schwarzen Humor hinzu: Selbst wenn man Bücher druckt, werden sie von KI-Firmen eingescannt – nicht einmal Papier hält sie auf.
Nicht nur abgeerntet: Auch die bisherigen Besucher bleiben aus
Kleine Websites erleiden noch einen zweiten, leiseren Verlust: Suchmaschinen senden keine Besucher mehr. Cloudflare analysierte den Traffic mehrerer Nachrichtenseiten und stellte fest, dass die Besucherzahlen von Google ab Februar 2025 spürbar einbrachen – im März 9 % weniger als im Januar, im April bereits 15 % weniger. Dieser Zeitraum fällt exakt mit der Einführung von Googles „AI Overviews“ zusammen, die Antworten direkt auf der Suchergebnisseite generieren, anstatt auf die Quellseite zu verlinken. Früher klickten Nutzer auf Suchergebnisse, um Artikel zu lesen; heute steht die Antwort direkt auf der Suchseite, ohne dass die Website auch nur die Chance auf einen Klick erhält.
Nick drückt seine Zwickmühle offen aus: „Ich möchte, dass Google und Bing meine Website crawlen, weil sie neue Leser bringen. Aber ich möchte nicht, dass alle anderen meine Seite als Steinbruch nutzen und ausräumen.“ Das technische Problem besteht darin, dass Server nicht zwischen Crawlern unterscheiden können, die Besucher bringen, und solchen, die nur Daten abziehen – es sind alles Bots, die sich nur in ihrer Motivation unterscheiden. Der Zugang wird durch KI abgeschnitten, die Inhalte werden durch KI abtransportiert – kleine Publisher bluten an beiden Enden.
Was dieser Krieg für normale Nutzer bedeutet
Diese Entwicklung betrifft normale Nutzer stärker als gedacht. Die Qualität der Antworten, die KI-Systeme liefern, hängt direkt von den Inhalten ab, die sie einlesen. Wenn Web-Autoren die Lust verlieren und ihre Arbeit einstellen, weil sie ohne Entschädigung ausgebeutet werden, lernt die KI künftig nur noch voneinander kopierte, veraltete Daten. Während große Verlage Lizenzverträge mit KI-Konzernen aushandeln können, gehen kleine Websites leer aus und bleiben auf den steigenden Serverkosten sitzen. Erste Plattformen klagen bereits gegen KI-Unternehmen, während viele Betreiber darüber nachdenken, ihre Inhalte hinter Login-Schranken zu verbergen.
Unternehmen wie Cloudflare treiben Modelle wie „Pay-per-Crawl“ voran – wer Inhalte automatisieren will, muss dafür bezahlen. Ob sich dieses Konzept durchsetzt, ist offen, aber es bringt die Kernfrage auf den Tisch: Sollten Inhalte im KI-Zeitalter weiterhin kostenlos für Maschinen zur Verfügung stehen?
Eine einfache Parteinahme greift zu kurz. Aus Sicht des Webmasters ist es verständlich, wütend zu sein, wenn die eigene Arbeit ein Jahr lang gratis abgesaugt wird und sich die Serverrechnung Fünffacht. Aus Sicht der Leser möchte niemand ein Internet, das hinter CAPTCHAs und Anmeldeschranken eingesperrt ist. Sicher ist nur eines: Das alte Axiom, dass Websites für Menschen gemacht sind, wird gerade leise umgeschrieben. Wenn Sie das nächste Mal eine KI nach einer Information fragen, denken Sie kurz darüber nach, von welcher unbezahlten kleinen Website diese Antwort stammt.
Referenz-Links:
- PatronView: 99% of My Website Traffic Is Bots
- HN-Diskussion (item?id=49211386)
- Cloudflare: The Crawl-to-Click Gap (Datenbericht zu KI-Crawlern & Referral-Traffic)
- Cloudflare Blog: From Googlebot to GPTBot (Veränderung der Marktanteile von KI-Crawlern)
