In über 40.000 Spielrunden und 409.000 Entscheidungsaufforderungen („Zulassen oder Ablehnen“) übersahen menschliche Prüfer ein Drittel der versteckten böswilligen Befehle. Das sind die Realdaten, die ScaleX im vergangenen Monat aus einem Browser-Minispiel veröffentlicht hat. Gleich zu Beginn wurden die Spieler explizit gewarnt: Unter den Befehlen befinden sich schädliche Aktionen, schauen Sie genau hin. Die Warnung blieb jedoch weitgehend wirkungslos.
KI-Assistenten halten rasant Einzug in den Alltag: Sie verfassen Texte, ordnen Dateien, buchen Tickets und beantworten Nachrichten. Bei jedem Ausführungsschritt kann ein Fenster aufpoppen: „Ausführung erlauben?“ Klickt man auf „Zulassen“, fährt das System fort; klickt man auf „Ablehnen“, versucht es einen alternativen Weg. In der Branche nennt sich dieser Mechanismus „Human-in-the-Loop“ (HITL) – der Mensch fungiert als letztes Schrankentor. Es ähnelt der Situation, einem Praktikanten eine Zugangskarte zu geben: Bei jedem Schritt dreht er sich um und fragt „Darf ich das machen?“, während man mitten in der Arbeit abwesend nickt.
Das Experiment wandelte diesen Freigabeprozess in ein Spiel um. Die Spieler schlüpften in die Rolle der Prüfer und mussten unter Zeitdruck schnell entscheiden, ob ein Befehl harmlos oder bösartig war. Fehleinschätzungen führten zu Punktabzügen. Unter den Testfällen befanden sich sowohl offensichtliche Zerstörungen wie das Löschen von Datenbanken als auch getarnte Angriffe, die Daten heimlich an fremde Server übermittelten.
Eine „Pförtnerprüfung“ über 40.000 Runden
Das Zeugnis fiel wenig erfreulich aus. Im Durchschnitt übersahen die Spieler 1/3 aller schädlichen Befehle, was zu einer Genauigkeit von lediglich 66.3% führte. 32.9% der Spielrunden endeten mit einer negativen Punktzahl – die Abzüge für durchgewunkene Bedrohungen und fälschlicherweise blockierte harmlose Befehle überwogen die erzielten Punkte. Zwar fingen 35.2% der Spieler alle Bedrohungen ab, doch nur 20.8% erreichten dies durch reguläre Prüfung; der Rest verließ sich auf die pauschale Holzhammermethode „Alles blockieren“. Zudem winkten 7% der Spieler ausnahmslos alle Anfragen durch, ohne eine einzige zu stoppen.
Abb.: Gesamtstatistik aus 40.000 Spielen. Quelle: scalex.dev
Eine ernüchternde ingenieurtechnische Erkenntnis: Die Teilnehmer wussten, dass sie getestet wurden, waren explizit gewarnt und wurden für jeden Fehler bestraft. Im realen Arbeitsalltag gibt es weder Warnungen noch Punktabzüge. Die Leistung unter realen Bedingungen dürfte folglich noch schlechter ausfallen.
Am leichtesten durchgewunken wird, was am ehesten blockiert gehört
Differenziert man die schädlichen Befehle nach Kategorien, zeigen sich erhebliche Unterschiede in der Fehlquote:
- Offensichtliche Zerstörung (Datenbank löschen, System formatieren): 11.7% übersehen
- Hintertüren & Autostart-Änderungen (Backdoors, Autostart anpassen): 23.8% übersehen
- Daten-Exfiltration (Daten heimlich an fremde Server senden): 33.4% übersehen
- Auslesen sensibler Dateien (Passwörter, Schlüssel abfragen): 35.0% übersehen
Das Muster ist eindeutig: Menschen stoppen zuverlässig groben Vandalismus, lassen aber Datendiebstahl bereitwillig passieren. Die Fehlquote bei der Daten-Exfiltration war dreimal so hoch wie beim Löschen von Datenbanken. Was Angreifer am begehrtesten finden, ist genau das, wovor der Mensch sich am wenigsten schützt.
„Analyse ausführen“: Harmloser Name, ausgetauschter Inhalt
Der traurige Spitzenreiter war ein Befehl namens „Analyse ausführen“, den 64.7% der Spieler genehmigten – der am häufigsten übersehene Befehl unter 37 Bedrohungstypen. Der Name klang völlig unverdächtig, doch im Protokollfenster direkt über dem Pop-up stand schwarz auf weiß der tatsächliche Inhalt: Das Skript verpackte lokale Daten und sendete sie an einen unbekannten Server. Zwei Drittel der Spieler klickten dennoch auf „Zulassen“.
Dieser Mechanismus verdient eine genaue Betrachtung. Solche Befehle ähneln Verknüpfungen auf dem Desktop: Der Name lautet „Datenanalyse“, aber der eigentlich ausgeführte Code steht im Projektfile. Der entscheidende Punkt: Ein KI-Assistent benötigt für das Bearbeiten von Projektdateien keine Freigabe des Nutzers. Er platziert zuerst die Bombe in der Datei und fragt anschließend: „Darf ich zünden?“ Ein Spieler fasste dies im Forum zusammen: Datei ändern ist freigabefrei, Datei ausführen ist freigabepflichtig – genau diese Lücke nutzen Angreifer aus.
Drei Befehle dieser Bauart erreichten zusammen eine Fehlquote von 52.5%, verglichen mit 28.4% bei sonstigem Datendiebstahl. Das Verstecken böswilliger Inhalte hinter vertrauten Namen verdoppelte die Erfolgsquote des Angriffs. Tarnung erwies sich als weitaus effektiver als Zerstörung: Die Prüfer sahen nicht weg – sie überflogen vertraute Bezeichnungen einfach schneller.
Je länger die Sitzung, desto unaufmerksamer der Blick
Die Auswertung zeigte zudem, dass die Fehlquote gegen Ende einer Spielrunde spürbar anstieg. In den ersten Minuten waren die Spieler aufmerksam; mit zunehmender Spieldauer nahm die Konzentration kontinuierlich ab. Unter dem Druck der ablaufenden Uhr und auf der Jagd nach Punkten verließen sich die Spieler auf ihr Bauchgefühl und klickten reflexartig auf „Zulassen“. Der Autor zitiert dazu eine Aussage von Anthropic: Je mehr Freigaben ein Nutzer sieht, desto weniger Aufmerksamkeit widmet er der einzelnen Anforderung.
Abb.: Die Fehlquote steigt mit fortschreitender Spieldauer. Quelle: scalex.dev
Die Reibung wirkt in beide Richtungen. Drei an sich völlig sichere Befehle – das Einrichten interner Paketquellen, das Leeren des Build-Caches und das Neustarten eines hängenden lokalen Dienstes – wurden von 59%, 45% bzw. 43% der Spieler blockiert. Zuviel Fehlalarm erzeugt Abstumpfung. Ist der Nutzer erst einmal stumpf geworden, greift er auch bei echten Gefahren nicht mehr ein. Es handelt sich um eine moderne Variante des Hirtenjungen, der zu oft „Wolf!“ rief: Was in diesem Konflikt wirklich aufgebraucht wird, ist die natürliche Aufmerksamkeitsspanne des Menschen.
Das Experiment löste heftige Debatten aus
Die Methodik des Experiments wurde auf Hacker News lebhaft diskutiert. Kritiker wandten ein: Einige Aufgaben seien inhaltlich mehrdeutig gewesen – etwa das Lesen einer persönlichen Konfigurationsdatei, was in manchen Szenarien harmlos, in anderen ein Datenleck sei; der Zeitdruck sei unrealistisch; und die grundlegendste Kritik laute, dass Spieler wüssten, dass sie getestet werden, während im Alltag niemand seinen eigenen KI-Assistenten wie einen feindlichen Agenten überwache.
Der Autor – ein ehemaliger Senior-Engineer bei Uber, auf HN bekannt als Wirbelwind – antwortete detailliert. Er räumte ein, dass zwei Aufgaben tatsächlich ungenau formuliert waren, und korrigierte sie umgehend. Nach der Korrektur sank die Fehlquote jedoch keineswegs; auch ein Vergleich von Spieldaten aus unterschiedlichen Zeiträumen zeigte eine gleichbleibende Fehlerquote – außerhalb der Hauptverkehrszeiten von HN fielen die Ergebnisse sogar noch schlechter aus.
Das Präzisieren der Aufgaben änderte nichts an der Fehlerquote. Das Problem liegt nicht in den Fragen, sondern im Menschen.
Fairerweise hatten auch die Verteidiger des Experiments Argumente: Im Spiel waren 34% aller Befehle bösartig, während die Bedrohungsdichte im realen Leben deutlich geringer ist. Die hohe Bedrohungsdichte im Spiel hielt die Spieler in erhöhter Alarmbereitschaft, weshalb das Verhalten im Alltag womöglich noch nachlässiger ist. Dennoch stimmen beide Seiten in einem Punkt überein: Menschen sind grundsätzlich ungeeignet dafür, lange Ketten von Befehlen kontinuierlich zu überwachen und zu beurteilen.
Die Realität ist schlimmer als das Spiel
Der am höchsten bewertete Kommentar auf HN stammte von dem Programmierer pllbnk: Im echten Leben liest kein Mensch nach, was der KI-Assistent gerade ausführt. Er zeigte einen Befehl, den sein eigener KI-Assistent im selben Moment ausführen wollte – ein Skript in einem temporären Verzeichnis, das das Wort hidden im Dateinamen trug. Er gab offen zu, keine Ahnung zu haben, was es tat: „Bisher hat es jedes Mal funktioniert, warum sollte es diesmal schiefgehen? Freigegeben!“ Müsste jeder Befehl im Detail verstanden werden, ginge der gesamte Effizienzgewinn durch KI augenblicklich verloren.
Ein anderer Kommentator drückte es noch drastischer aus: Der Freigabeknopf war nie als Sicherheitsmechanismus gedacht, sondern als Haftungsausschluss für Hersteller – wenn etwas schiefgeht, können Unternehmensjuristen sagen: „Sie haben es freigegeben, also liegt die Verantwortung bei Ihnen.“ Das klingt scharf, erscheint aber im Lichte einer Fehlquote von 1/3 keineswegs abwegig.
Drei Ratschläge für alltägliche Nutzer
Auch wenn die Teilnehmer dieses Experiments Entwickler waren, halten genau diese Freigabemechanismen Einzug auf allen Smartphones und PCs. KI-Assistenten auf Betriebssystemebene können bereits Apps öffnen, Dateien lesen, Nachrichten versenden und Zahlungen ausführen, wobei vor kritischen Aktionen ein Dialog nach der Erlaubnis fragt. Während die Fähigkeiten der KI-Assistenten wachsen, bleibt das Aufmerksamkeitsbudget des Menschen begrenzt. Je häufiger das Pop-up erscheint, desto beiläufiger wird geklickt. KI-Phishing und Social Engineering nutzen genau dieselbe Psychologie: In einem Moment nachlassender Aufmerksamkeit wird der Nutzer zu einer Bestätigung verleitet, die harmlos aussieht, aber teuer werden kann.
Ratschläge für normale Nutzer erfordern kein tiefes Fachwissen: Geben Sie KI-Assistenten keine Generalschlüssel-Rechte, sondern vergeben Sie Berechtigungen strikt nach dem Minimalprinzip; verlangen Sie bei kritischen Aktionen wie Passwörtern, Bestätigungscodes und Zahlungen eine manuelle Bestätigung; und bewahren Sie sich eine gewisse Skepsis gegenüber dem Wort „Zulassen“ – es erscheint in letzter Zeit schlicht zu oft.
Was sich wirklich ändern muss, ist die Systemarchitektur. Der Autor selbst sieht den Ausweg in der Isolation (Sandboxing): KI-Assistenten müssen in abgeschotteten Umgebungen arbeiten, sodass sie selbst im Falle einer Übernahme durch Angreifer keinen Zugriff auf wichtige Dateien erhalten. Sensible Informationen müssen zudem separat verwaltet werden. Die Schutzlinie muss von der „menschlichen Aufmerksamkeit“ auf die „Systemstruktur“ verlagert werden – die Daten haben bewiesen, dass Erstgenannte dem Druck nicht standhält.
40.000 Spielrunden haben eines bewiesen: Freigabe-Pop-ups lagern die Sicherheitsverantwortung an die knappste Ressource des Menschen aus – die kontinuierliche Aufmerksamkeit. Und diese Aufmerksamkeit nutzt sich unter Zeitdruck, Wiederholung und vertrauten Namen unweigerlich ab. Wenn der KI-Assistent das nächste Mal fragt „Zulassen?“, lohnt es sich, eine Sekunde innezuhalten. Diese eine Sekunde könnte genau der Unterschied sein, nicht in dem einen Drittel der übersehenen Angriffe zu landen.
Weiterführende Links:
- ScaleX: Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays
- HN Diskussion (item?id=49195468)
- Developers Digest: Approval Fatigue Is an Agent Security Bug
- TechMedia: Vom Löschen von Datenbanken bis zum Löschen von E-Mails: Schwachstelle KI-Assistent
