Täglich strömen etwa sechs Millionen Anfragen ungebremst in das offizielle Quellcode-Repository des Linux-Kernels (git.kernel.org). Selbst unter dem optimistischsten statistischen Modell machen echte, legitime menschliche Anfragen nur 2 % dieser Zugriffe aus. Die restlichen 98 % bestehen vollständig aus KI-Crawlern, die versuchen, jede einzelne Codezeile zu verschlingen, um große Sprachmodelle zu trainieren.
Unermüdliche Verschlinger von Rechenleistung
Dieser Webseiten-Cluster, bestehend aus fünf geografisch verteilten Knotenpunkten und 90 CPU-Kernen, leidet unter einer unbeschreiblichen asymmetrischen Belastung. Davon befinden sich 14 bis 16 Kerne dauerhaft unter Volllast; ihre einzige Aufgabe besteht darin, Seiten mit Code-Commits (commit) für die Crawler zu rendern. Dies verbraucht direkt 20 % der gesamten Rechenkapazität des Systems. Darüber hinaus greifen die Crawler stets in Wellen an, was die tatsächlichen kurzzeitigen Spitzenbelastungen noch drastischer ausfallen lässt.
Das Ausmaß der Gier dieser Crawler übersteigt das herkömmliche technische Verständnis. Der Linux-Kernel verzeichnet etwa 1,48 Millionen Code-Commits, und auf der Website existieren rund 922 Entwickler-Forks (fork). Diese Kombination führt zu Milliarden gültiger und aufrufbarer Links. KI-Crawler durchlaufen jeden einzelnen Link mechanisch und scrapen die exakt selben, 922-fach wiederholten Inhalte jeweils einzeln. Dies verdeutlicht, dass die heutige Beschaffung von Trainingsdaten technische Optimierungen wie die Deduplizierung längst aufgegeben hat; stattdessen ist sie zu einer brutalen Brute-Force-Methode verkommen, die die Zielserver durch reine Rechenleistung überwältigt.
Papiertiger der Rechenleistungsabwehr
Um dieses maßlose und gewaltsame Scraping abzuwehren, wurde auf der offiziellen Linux-Kernel-Website ein Anti-Scraping-System namens Anubis eingesetzt. Hierbei handelt es sich um ein kryptografisches mathematisches Rätsel, das auf dem Proof of Work (PoW) basiert: Es verlangt vom Gerät des Besuchers, eine vorgegebene Zeichenfolge mit der eigenen IP-Adresse und einem dynamischen serverseitigen Schlüssel zu kombinieren. Anschließend muss kontinuierlich der SHA-256-Hashwert berechnet werden, bis die ersten N Stellen des Ergebnisses vollständig aus Nullen bestehen.
Derzeit blockiert Anubis erfolgreich 66 % der einfachen Scan-Programme, jedoch lösen immer noch 33 % der fortschrittlicheren Bots die mathematische Aufgabe und gelangen erfolgreich auf die Hauptseite.
Abb.: git.kernel.org Anfrage-Trichter: 66 % blockiert, 33 % durchgelassen, lediglich 2 % legitim. Quelle: people.kernel.org
Angesichts der immer weiter vordringenden 33 % an fortschrittlichen Crawlern blieb der Verteidigung als einziges Mittel, die Schwierigkeit der Hash-Berechnung von Stufe 4 auf 5 zu erhöhen. Dennoch weist der Kernmechanismus dieser Verteidigungslinie eine fatale Schwachstelle auf – er erfordert die Nutzung von JavaScript-Skripten im Browser, um die Rechenleistung der Maschine auszuschöpfen. Der Einsatz einer interpretierten Hochsprache für rechenintensive Hash-Kalkulationen ist an sich schon eine extrem ineffiziente und äußerst asymmetrische Form der Abwehr.
Dimensionsreduzierender Angriff durch Hardware-Befehle
Welches Hindernis stellt diese mathematische Aufgabe tatsächlich für echte KI-Crawler dar? Im Technik-Diskussionsbereich von Hacker News (HN) lieferte ein Entwickler namens semiquaver einen vernichtenden technischen Beweis.
Er investierte lediglich 10 Minuten in die Entwicklung einer maßgeschneiderten Safari-Browser-Erweiterung. Durch den Aufruf der ARM-architekturspezifischen nativen Hardware-Beschleunigungsbefehle SHA256H* und die Neuentwicklung der zentralen Lösungslogik in der Programmiersprache C reduzierte er die Entschlüsselungszeit für das Rätsel der Schwierigkeitsstufe 6 von den ursprünglich auf einem iPhone benötigten 180 Sekunden drastisch auf den Millisekundenbereich. Dies belegt, dass rein softwarebasierte Abwehrmechanismen angesichts spezialisierter Hardware-Befehlssätze absolut chancenlos sind. Sobald Angreifer die ineffiziente Browser-Sandbox umgehen und direkt auf die zugrunde liegende Hardware-Rechenleistung zugreifen können, lösen sich die von den Verteidigern sorgfältig konstruierten Verzögerungsmechanismen augenblicklich in Luft auf.
Abb.: Die schmerzhafte Kurve der sukzessiven Anhebung der Anubis-Schwierigkeit und der nachziehenden Bots. Quelle: people.kernel.org
Systematischer Kontrollverlust im Wettrüsten
Gleichzeitig unterliegt die Taktik der Angreifer einem qualitativen Wandel. Von User-Agent-Headern (UA), die anfangs noch brav die wahre Identität preisgaben, entwickelte sie sich hin zur vollständigen Maskierung als herkömmliche Consumer-Browser. Heutzutage hat sich dies sogar zu einer fortschrittlichen Taktik weiterentwickelt, bei der Millionen von IP-Adressen privater Breitband- und Mobilfunknetze für die Rotation gekapert werden. Durch verschiedene verdeckte Proxy-SDK-Monetarisierungstools werden Smart-TVs vieler normaler Nutzer oft unwissentlich zu Botnet-Knotenpunkten, die für andere Daten scrapen.
Einige Entwickler entgegneten in den Diskussionen, dass die JavaScript-Engine regulärer Geräte die Aufgabe in acht Sekunden bewältigen könnte, sofern keine extrem schwierigen Herausforderungen zum Einsatz kämen. Sie argumentieren, die gewaltige Kluft von 180 Sekunden auf Millisekunden sei lediglich auf den dreistelligen Unterschied in der Ausführungseffizienz zwischen JavaScript-Engines und nativem C zurückzuführen.
Doch genau hier liegt das Dilemma der Verteidiger. Crawler können skrupellos auf native Sprachen, Server-Cluster und sogar tiefgreifende Hardware zugreifen, während echte Nutzer in der trägen Ausführungsumgebung ihrer Browser gefangen bleiben. Auf welcher Grundlage sollten Verteidiger annehmen, der langfristige Vorteil liege auf ihrer Seite?
Anti-Scraping-Konzepte, die Maschinen zur Aufwendung von Rechenleistung zwingen, sind angesichts dedizierter Hardware und nativem Code völlig gescheitert. Maschinen führen Rechenaufgaben immer um mehrere Größenordnungen schneller aus als die handelsüblichen Endgeräte menschlicher Nutzer. Der Linux-Kernel-Maintainer Konstantin Ryabitsev räumte letztendlich resigniert ein, dass derzeit keine unkomplizierte technische Lösung in Sicht sei; lediglich die Deaktivierung bestimmter Suchfunktionen könne die Zahl der scrapbaren Links reduzieren. Der Zusammenbruch des Anubis-Anti-Scraping-Konzepts signalisiert: Im Rechenleistungs-Wettrüsten zwischen KI-Crawlern und der Webseitenabwehr erleidet die Verteidigung einen systematischen Kontrollverlust. Sobald die Hürde der Rechenleistung durch Hardware auf einer niedrigeren Ebene durchbrochen wird, sind komplexe Captchas nur noch in der Lage, jene echten Menschen aufzuhalten, die lediglich in Ruhe den Code lesen möchten. Der Autor ist der Ansicht, dass angesichts dieses eskalierenden Wettrüstens jegliche Verteidigungsstrategie durch den nächsten Durchbruch bei der Rechenleistung zunichtegemacht werden könnte; weshalb wir bei der Beurteilung zukünftiger Entwicklungen stets Bescheidenheit wahren sollten.
Referenzlinks:
- Originalbericht auf people.kernel.org
- Technische Diskussion in der HN-Community
