Alle Depeschen

DepescheForschungneu

Epoch AI: KI-Textdetektoren übersehen bis zu 48 Prozent, wenn Modelle einen Autorenstil imitieren

Epoch AI hat am 15. Juli 2026 drei kommerzielle KI-Textdetektoren – Pangram 3.3.2, GPTZero (2026-05-11-base) und Originality.ai (Turbo 3.0.2) – gegen einen Korpus aus 495 menschlichen Passagen von 99 Autoren (Blog, Belletristik, Wissenschaft) getestet. Bei schlichten Prompts erkennen die Detektoren KI-Text nahezu perfekt (0–1 Prozent Falsch-Negativ-Rate), doch sobald ein Frontier-Modell (Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro) den Stil eines konkreten Autors imitiert, entgehen ihnen 10–18 Prozent der KI-Texte – bei wissenschaftlichem Schreiben 24–29 Prozent, im Extremfall übersah Pangram 48 Prozent der von Gemini erzeugten Fachpassagen.

Epoch AI baute einen Korpus aus 495 von Menschen geschriebenen Passagen von 99 Autoren in drei Gattungen (Blog, Belletristik, wissenschaftliches Schreiben). Für die KI-Seite bekamen drei Frontier-Modelle – Claude Opus 4.8, GPT-5.5 und Gemini 3.1 Pro – jeweils fünf Textproben eines Autors und die Aufgabe, dessen Stil zu imitieren; zum Vergleich wurde auch mit schlichten Prompts generiert. Geprüft wurden drei kommerzielle Detektoren in ihren im Juli 2026 aktuellen Versionen: Pangram 3.3.2, GPTZero (Modell 2026-05-11-base) und Originality.ai (Turbo 3.0.2).

Bei ohne Tarnung erzeugtem KI-Text lagen die Falsch-Negativ-Raten bei 0–1 Prozent, die Falsch-Positiv-Raten gegen echte Menschen bei 0–4 Prozent – Detektion funktioniert also im Normalfall. Unter Stilimitation kippt das Bild: Pangram übersah 10 Prozent (30 von 297), GPTZero 11 Prozent (32 von 297) und Originality.ai 18 Prozent (53 von 297) der KI-Passagen. Am stärksten litt ausgerechnet das wissenschaftliche Schreiben – dort, wo eine Fehlzuordnung am folgenreichsten ist: Über alle drei Werkzeuge blieben 24–29 Prozent unerkannt, und Pangram verfehlte 48 Prozent der von Gemini erzeugten Fachpassagen.

Einordnung: Der Befund ist kein Freibrief zum Vorwurf gegen Menschen – die niedrige Falsch-Positiv-Rate bleibt die belastbarste Zahl der Untersuchung. Er zeigt vielmehr die Grenze der Umkehrrichtung: Wer ein Modell gezielt einen bekannten Autorenstil nachahmen lässt, kann heutige Detektoren mit substanzieller Wahrscheinlichkeit unterlaufen. Epoch AI hat den zugrunde liegenden Datensatz öffentlich gemacht, was die Prozentwerte nachprüfbar macht.