Alle Depeschen

DepescheForschung

Pangram 4 liefert für denselben Text verschiedene Urteile

Zwei c’t-Tests der Textprüfung Pangram kamen zu einem einfachen Befund: Derselbe Text erhielt in zwei Durchgängen unterschiedliche Urteile. Version 4.0 soll zusätzlich menschliche Texte erkennen, die eine KI überarbeitet hat, und einen KI-Anteil ausweisen. Pangram wirbt mit 0,0041 Prozent Fehlalarmen, räumt aber selbst ein, rund 15 Prozent der KI-Texte nicht zu erkennen.

Der erste Test erschien am 27. Juli 2026, der Version-4.0-Praxistest am 6. August. Die vollständigen Messreihen liegen hinter der Bezahlschranke. Frei zugänglich sind die redaktionelle Schlussfolgerung und die Bildunterschrift, nach der derselbe Text zwei Urteile von Pangram 4 erhielt.

Die beworbene Fehlalarmquote beschreibt nur die menschliche Seite: Pangram nennt 99,98 Prozent Treffer bei menschlichen Texten beziehungsweise 0,0041 Prozent Fehlalarme. Für die Frage, ob ein Text von einer KI stammt, ist die andere Zahl entscheidend: Nach eigener Angabe erkennt das Unternehmen rund 85 Prozent der KI-generierten Texte.

Die Testautoren berichten im eigenen Podcast von schwankenden Ergebnissen bei erneutem Hochladen und deutlichen Unterschieden zwischen Dateiformaten. Die Erkennung hängt zudem am erzeugenden Modell und lässt sich durch kleine redaktionelle Änderungen beeinflussen. Diese Details sind als Tier-C-Wiedergabe einzuordnen.

Pangram rät selbst davon ab, seinen Klassifikator als alleinigen Beleg für Plagiatsvorwürfe zu verwenden. Die Befunde stammen aus den c’t-Tests; die genannten Fehlerquoten sind Anbieterangaben.