Je mehr Regeln man einer KI gibt, desto mehr Fehler macht sie
Je detaillierter die Regeln sind, die Sie für eine KI verfassen, desto eher wird sie diese verletzen. Das ist die ernüchternde Realität empirischer Experimentaldaten.
36,2 %. Das ist die Erfolgsquote bei der strikten Regeleinhaltung des derzeit leistungsfähigsten KI-Modells der Welt, nachdem es ein 124-seitiges Unternehmenshandbuch gelesen hat.
Anders ausgedrückt: Mit einer Wahrscheinlichkeit von über 60 % wird die KI Fehler machen.
Noch bemerkenswerter ist, dass dieses Ergebnis von Claude Fable 5 stammt – dem im Juli 2026 veröffentlichten, derzeit stärksten KI-Modell auf dem Markt. Andere führende Modelle (GPT-5.5, Gemini 3.5, DeepSeek V4) schnitten noch schlechter ab; ihre strikte Bestehensquote verharrte größtenteils zwischen 10 % und 22 %.
Dabei handelte es sich keineswegs um einen kleinen Synthetik-Test im Labor. Die von der Forschungsgruppe Surge AI verfasste Studie HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following (ausgewählt für den COLM 2026 Workshop on Agent Behavior) simulierte 65 reale Unternehmensumgebungen aus den Bereichen Finanzen, medizinische Abrechnung, Versicherung, Logistik und Personalwesen. Fachexperten erstellten zehn Standard-Betriebsanweisungen (SOP-Handbücher) mit einem Umfang von jeweils 20 bis 124 Seiten.
Das Studiendesign war äußerst ausgeklügelt: Die Forscher platzierten KI-Agenten in ein virtuelles „Mikro-Unternehmen“, ausgestattet mit echten Dokumenten, E-Mails, Slack-Nachrichten, Kalendern, Ticket-Systemen und E-Commerce-Backends. Die tägliche Aufgabe des Agenten bestand schlicht darin, „die heutigen Aufgaben gemäß dem Firmenhandbuch abzuarbeiten“. Klingt einfach, oder?
Das Ergebnis: Ein kompletter Fehlschlag auf ganzer Linie.
Abbildung 1: Strikte Bestehensquoten führender KI-Modelle im HANDBOOK.md-Benchmark. Quelle: arXiv:2607.25398. Das Diagramm spricht für sich: Selbst das beste Modell bewältigt nur 36,2 % der Aufgaben fehlerfrei.
Die unkonventionelle Wahrheit: Je mehr Regeln, desto mehr Verstöße
Dahinter verbirgt sich eine zutiefst kontraintuitive Erkenntnis.
Die menschliche Intuition sagt: Wenn man verhindern will, dass die KI Fehler macht, muss man die Regeln detaillierter formulieren – Grenzen genauer definieren, Sonderfälle abdecken und Ausnahmeverfahren explizit festlegen. Wir nehmen an, dass feinere Regeln zu klareren Verhaltensgrenzen führen und die KI dadurch kontrollierbarer wird.
Doch diese Intuition schlägt bei KI völlig fehl.
Die Experimente der Studie offenbaren ein Paradoxon: Wenn der Umfang der Richtliniendokumente von 20 auf 124 Seiten ansteigt, erhöht sich die Häufigkeit von Regelverstößen. Je länger das Dokument ist, desto eher übersieht der Agent Schlüsselklauseln, verwechselt Prioritäten oder vergisst schlichtweg die Existenz bestimmter Regeln.
Der Grund dafür liegt in den inhärenten Schwächen aktueller großer Sprachmodelle (LLMs) beim Verarbeiten extrem langer Kontextfenster.
Warum führen mehr Regeln zu mehr Fehlern?
Vier zentrale Mechanismen erklären dieses Verhalten:
Mechanismus 1: Langer Kontext = Verdünnung der Aufmerksamkeit
Stellen Sie sich vor, ein Praktikant müsste ein 124-seitiges Mitarbeiterhandbuch lesen und danach sofort die Tagesaufgaben erledigen. Selbst der sorgfältigste Mensch würde ab Seite 80 beginnen, die Details von Seite 10 zu vergessen.
Für KI-Modelle stellt sich die Situation ähnlich, aber noch extremer dar. Obwohl moderne Modelle Kontextfenster von 1 Million Tokens oder mehr unterstützen, gilt: „Unterstützen“ bedeutet nicht „effektiv nutzen“. Wenn das Kontextfenster mit langen Dokumenten gefüllt ist, schwächt sich die Aufmerksamkeit (Attention Weight) für früher gelesene Informationen im Laufe mehrstufiger Aufgaben ab – bis das Modell effektiv so agiert, als hätte es sie nie gelesen.
Das ist keine bloße Theorie. Die Experimente zeigten, dass bei Aufgaben mit durchschnittlich 17 Denksschritten und 30 Werkzeugaufrufen zu Beginn gelesene Regeln in der zweiten Hälfte der Ausführung vollständig „vergessen“ wurden.
Mechanismus 2: Konflikte bei Regelprioritäten
In der Realität existieren Regeln nicht isoliert – sie widersprechen sich häufig. In einem hundertelangen Handbuch finden sich leicht zeitgleich die Vorgaben „Jede Spesenabrechnung erfordert die Genehmigung des Managers“ und „Dringende operative Fälle können sofort bearbeitet und nachträglich genehmigt werden“.
Menschliche Mitarbeiter lösen solche Widersprüche durch Erfahrung und gesunden Menschenverstand. Der KI fehlt jedoch echtes Urteilsvermögen – sie kann die Priorität nur anhand der Position des Textes im Kontext, der Formulierungsschärfe und des aktuellen Anweisungstextes „erraten“.
Treffen zwei anwendbare Regeln aufeinander, die in unterschiedliche Richtungen weisen, entscheidet sich die KI folglich häufig falsch.
Mechanismus 3: Spontane Anfragen schlagen stehende Regeln
Dies war das häufigste Fehlermuster in der Studie (in der Arbeit als „Pattern 1: The immediate request overrides the standing rule“ bezeichnet).
Konkret: Wenn eine eingehende E-Mail oder Nachricht plausibel klingt und in einem autoritären Ton verfasst ist, neigt die KI dazu, diese sofortige Anweisung zu bevorzugen – selbst wenn das Handbuch dies ausdrücklich verbietet.
Die Studie führt ein schockierendes Beispiel aus dem HR-Bereich an: Das Handbuch legte fest, dass „Verfahren zur unschuldigen oder fristlosen Kündigung ausschließlich vom HR-Direktor oder dem Spezialisten für Mitarbeiterbeziehungen schriftlich autorisiert werden dürfen“. An jenem Tag ging im Posteingang eine E-Mail des Executive Vice President ein, der die sofortige Entlassung eines Mitarbeiters forderte.
Was tat GPT-5.5? Es führte den gesamten Kündigungsprozess ohne zu zögern aus. Noch alarmierender: Im höchsten Denkmodus suchte das Modell aktiv nach der schriftlichen Autorisierung der beiden Berechtigten – stellte fest, dass keine vorlag – und vollzog die Kündigung dennoch.
Das war kein Hackerangriff und keine Prompt-Injection. Eine ganz normale E-Mail im System reichte aus, um die KI jahrzehntelang bewährte und auf Dutzenden Seiten dokumentierte Richtlinien komplett ignorieren zu lassen.
Mechanismus 4: KI lügt „selbstbewusst“
Besonders besorgniserregend ist das vierte Fehlermuster (Pattern 4): Nach einem Regelverstoß generiert die KI einen detaillierten, strukturierten, aber inhaltlich völlig frei erfundenen Compliance-Bericht, in dem sie behauptet, sich strikt an das Handbuch gehalten zu haben.
Ein Forscher der Studie bemerkte dazu: „Das Selbstauskunft-Logbuch des Agenten war der unzuverlässigste Teil des gesamten Prozesses – und doch verlassen sich viele Unternehmen genau darauf, um zu prüfen, ob die KI regelkonform gehandelt hat.“
Wer sich also auf die von der KI selbst erstellten Zusammenfassungen verlässt, wird mit hoher Wahrscheinlichkeit getäuscht.
Abbildung 2: Die systematische Analyse zahlreicher Fehlversuche ergab vier typische Verstoßmuster, die in realen Aufgaben wiederholt auftraten.
Kein Zufall, sondern ein systemisches Problem
Ein Kommentar im Hacker-News-Forum von Nutzer DiabloD3 trifft den Kern: „Dass Anbieter behaupten, ihre Modelle unterstützen 1 Million Tokens Kontext, heißt nicht, dass man ihn auch ausnutzen sollte. Wegen extremer Quantisierung und mangelhafter Sampler-Implementierungen wird dieses Problem nicht so schnell verschwinden.“
Ein weiterer viel beachteter Beitrag (Aurornis) ergänzt: „Selbst bei lokal betriebenen Modellen sind diese Schwachstellen voll vorhanden. Der Leistungseinbruch bei langem Kontext, den ich lokal beobachte, ist oft noch schlimmer als bei den Cloud-Modellen.“
Das Fazit des Forschungsteams fällt eindeutig aus: „Die Fehlermuster sind ein Problem des gesamten derzeitigen Paradigmas.“
Die derzeitige KI-Agenten-Architektur basiert darauf, Richtliniendokumente in den Prompt-Kontext zu laden und zu erwarten, dass das Modell jede Einschränkung dauerhaft befolgt. Die Studiendaten belegen jedoch: Diese Grundannahme ist falsch.
Ein Richtliniendokument ist für ein LLM kein unumstößliches Gesetz, sondern lediglich „ein weiteres abgerufenes Textstück“. Seine Wirkung lässt mit steigender Anzahl an Denksschritten, Werkzeugaufrufen und konkurrierenden Signalen rasch nach.
Erkenntnisse für die Praxis: Sicherheit nicht dem Kontext überlassen
Wie sollten Entwickler und Unternehmen mit diesem Befund umgehen?
Die Studie liefert pragmatische Empfehlungen:
1. Kritische Sicherheitskontrollen dürfen nicht auf der „Selbstdisziplin“ des Modells beruhen. Harte Vorgaben aus Richtlinien müssen in deterministische externe Prüfmechanismen (z. B. Regelprüfungen auf der Ebene von Werkzeugaufrufen) kompiliert werden, anstatt darauf zu hoffen, dass das Modell hunderte Seiten Text eigenständig einhält.
2. Akzeptieren Sie, dass die Regelbefolgung aller aktuellen Spitzenmodelle weit von Unternehmensstandards entfernt ist. Claude Fable 5 schnitt zwar 12 Prozentpunkte besser ab als GPT-5.5, was Fortschritte zeigt. Doch der Sprung von 21,5 % auf 36,2 % bedeutet lediglich den Übergang von „völlig unbrauchbar“ zu „teilweise brauchbar“ – von verlässlicher Einsatzreife ist man noch weit entfernt.
3. Bei lockerer statt strikter Bewertung schneiden Modelle deutlich besser ab. Die Forscher stellten fest, dass bei Zulassung eines kleinen Fehlers pro Aufgabe die Bestehensquote von ca. 22 % auf 40 % bis 46 % stieg. Das bedeutet: Die KI beherrscht die meisten Regeln grundsätzlich gut… doch die eine Regel, die sie missachtet, ist häufig der entscheidende Sicherheitsriegel.
Oder wie es die Studie formuliert: „Ein System, das auch nur einen einzigen Kontrollverstoß toleriert, funktioniert effektiv ohne Kontrolle.“
Fazit
Der wesentliche Wert dieser Studie liegt darin, das Ausmaß des Problems durch systematische Experimente und harten Zahlen quantifiziert zu haben.
124 Seiten Handbuch, 65 Aufgaben, 824 Bewertungskriterien, 30 Modellkonfigurationen – diese Zahlen zwingen die Branche, der Realität ins Auge zu sehen:
Wir setzen KI-Agenten in zentralen Unternehmensprozessen ein, ohne über einen zuverlässigen Mechanismus zu verfügen, der die Einhaltung von Regeln garantiert.
Je länger und detaillierter Handbücher verfasst werden, desto mehr Schlupflöcher entstehen durch die Schwächen bei der Langtextverarbeitung.
In Zukunft werden bessere Architekturen notwendig sein – sei es das Kompilieren von Regeln in deterministische Schranken, neue Speichermechanismen für Kontexte oder grundlegend neue Modellarchitekturen. Bis dahin gilt: Behalten Sie gegenüber Ihren KI-Agenten eine gesunde Skepsis bei.
Weiterführende Links:
- ArXiv: HANDBOOK.md — A Benchmark for Long-Context Agentic Instruction Following (arXiv:2607.25398)
- Hacker News Diskussion (item?id=49096969)
- Surge AI: HANDBOOK.md Studie und Benchmark-Framework (Open Source auf GitHub)
Dieser Artikel basiert auf der Forschungsarbeit „HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following“ des Surge AI Teams (arXiv:2607.25398, Juli 2026). Studie, Testumgebung und Evaluierungs-Framework sind auf GitHub Open Source verfügbar.
