Die Prüfung besteht aus zwei Artikeln derselben Redaktion. Am 27. Juli 2026 erschien der Test von Robin Ahrens und Carolin Riethmüller mit der Ankündigung: „Wir haben mit Stichproben geprüft, wie gut menschliche und KI-generierte Texte tatsächlich erkannt werden und ob sich Pangrams Urteile manipulieren lassen.“ Am 6. August 2026 folgte der Praxistest der Version 4.0 von Hartmut Gieselmann. Die vollständigen Messreihen liegen bei beiden hinter der heise+-Schranke; frei lesbar sind die Einordnung und die beworbenen Kennzahlen.
Was Pangram über sich selbst angibt, und was daraus folgt: eine „99,98-prozentige Trefferquote“ bei menschlichen Texten – „In eigenen Tests war sogar nur jeder zehntausendste Text falsch positiv“ –, an anderer Stelle eine Fehlalarmquote von „lediglich 0,0041 Prozent“. Entscheidend ist die dritte Zahl aus demselben Haus: „Rund 85 Prozent aller KI-generierten Texte würden erkannt, 15 Prozent nicht.“ Die beiden ersten Werte beschreiben, wie selten Unschuldige getroffen werden; der dritte beschreibt, wie oft das Werkzeug nichts findet, obwohl es etwas zu finden gäbe. Für die Frage „Ist dieser Text mit KI geschrieben?“ ist der dritte Wert der maßgebliche – und er steht in keiner Werbeaussage.
Pangram selbst formuliert die Grenze deutlicher als seine Anwender: „Alle KI-Erkennungstools produzieren falsch-positive Ergebnisse und sollten deswegen nur zusammen mit weiteren Beweisen genutzt werden“ und „Wir raten dringend davon ab, die Beurteilung von Plagiatsvorwürfen und akademischer Integrität allein auf unseren Klassifikator zu stützen.“ Die KI-Forscherin Doris Weßels wird mit einem Urteil zitiert, das über das einzelne Produkt hinausgeht: „KI-Detektoren sind technisch unzuverlässig, reproduzieren Bias, sind rechtlich nicht belastbar und führen zu einer Misstrauenskultur.“
Die Testautoren haben ihre Befunde am 14. August 2026 im hauseigenen Podcast selbst referiert – das ist die einzige uns zugängliche Darstellung der Details, und sie ist entsprechend als Tier C geführt. Genannt werden dort: Die Ergebnisse schwanken bei wiederholtem Hochladen desselben Textes, bei unterschiedlichen Dateiformaten „können teilweise Unterschiede von 50 %“ auftreten. Die Erkennung hängt am erzeugenden Modell – ChatGPT-Texte seien „relativ häufig als KI erkannt, auch teilweise zu 100 %“, Claude und Gemini deutlich seltener. Und sie ließ sich einfach aushebeln: einen inhaltlich unpassenden Satz entfernen, „schwülstige Wörter“ streichen, und der Text gilt „zumindest in Teilen menschlich“ oder ganz. Zur Prozentanzeige der Version 4.0 sagt Gieselmann, sie „zeigt irgendwas an, nur eben halt nicht den KI-Anteil des Textes“.
Die technische Ursache benennen die Autoren selbst: Pangram messe nicht wie ältere Detektoren deterministisch Kenngrößen wie Perplexität und Burstiness, sondern lasse ein eigens trainiertes Sprachmodell klassifizieren – und Sprachmodelle liefern keine wiederholbaren Ergebnisse. Zum Training gehört nach ihrer Darstellung ein zweiter Durchgang über 28 Millionen Texte mit gezieltem Grenzfall-Training: Zu erkannten Falsch-Positiven wurden synthetische Beinahe-Dubletten erzeugt und beide Fassungen erneut ins Training gegeben. Was das Modell am Ende als maschinell einstuft, sei aber auch dem Anbieter nicht bekannt.
Der Zusammenhang zum größeren Bild: Detektoren sind der Rückfallweg für alles, was kein Wasserzeichen trägt – also für ältere Modellausgaben, für offene Gewichte ohne Markierung und für jeden Text, der einmal durch ein anderes Modell paraphrasiert wurde. Genau dieser Rückfallweg trägt nach diesem Test nicht. Das ist die Kehrseite der Kennzeichnungspflicht, die seit dem 2. August gilt: Sie erzeugt die Erwartung, KI-Inhalte seien nun erkennbar, während das Werkzeug für den ungekennzeichneten Fall keine belastbaren Urteile liefert.
⚠️ Was wir nicht behaupten: Wir haben Pangram nicht selbst getestet und keine der Quoten nachgemessen. Die vollständigen Messreihen beider c’t-Tests liegen hinter einer Bezahlschranke, die wir nicht passiert haben – belegt sind uns die frei lesbaren Einordnungen, die beworbenen Kennzahlen und die Angaben aus der taz-Recherche. Die Detailbefunde zu Nicht-Reproduzierbarkeit, Format-Abweichungen, Modellabhängigkeit und Manipulierbarkeit stammen aus der mündlichen Darstellung der Testautoren im eigenen Podcast und sind damit Tier C; sie stützen die frei belegte Kernaussage, ersetzen aber die Messreihen nicht. Die deutschen Anwendungsfälle, in denen Pangram öffentlich eine Rolle spielte, geben wir nicht namentlich wieder – die Namen waren im ausgewerteten Transkript verstümmelt, und die taz nennt sie nur allgemein als „die neusten deutschen KI-Enthüllungen“.