„Bot or Not“: Leser bewerten ChatGPT-Kurzgeschichten besser als literarische – und erkennen sie nicht
In der Fachzeitschrift „Judgment and Decision Making“ ist am 5. August 2026 die Untersuchung „Bot or Not“ von Sydney Sears und Deena Skolnick Weisberg (Villanova University) erschienen: Rund 2.590 Teilnehmende lasen etwa 1.000 Wörter lange Kurzgeschichten – teils aus Literaturzeitschriften, teils von ChatGPT 4.0 erzeugt. Auf einer Skala von −3 bis +3 bewerteten sie die KI-Texte durchweg besser (Qualität 1,54 gegenüber 0,97; Vertiefung ins Lesen 1,42 gegenüber 1,00). Beim Erkennen der Herkunft lagen sie in einem Experiment mit 39,39 Prozent Treffern signifikant unter dem Zufallsniveau, in der Replikation mit 51,97 Prozent genau darauf. Sagte man ihnen, ein Text stamme von einem Menschen, stieg die Bewertung – unabhängig davon, ob es stimmte.
✓ Aussagen gegen die Quellen geprüft · 8. August 2026
Der Aufbau: Experiment 1 (1.682 Teilnehmende) folgte einem 2×2-Design – menschlich oder maschinell verfasste Geschichte, dazu eine wahre oder falsche Angabe über die Herkunft. Experiment 2 (424 Teilnehmende) stellte je eine menschliche und eine KI-Geschichte direkt gegenüber und verlangte eine Zuordnung; Experiment 3 (481 Teilnehmende) wiederholte das mit einer validierten Skala zur KI-Kompetenz. Die maschinellen Texte stammen von ChatGPT 4.0 und wurden zwischen November 2023 und Dezember 2024 erzeugt, die menschlichen aus veröffentlichten Literaturzeitschriften und Anthologien (Longleaf Review 2021, The Short Hello 2000, Whipping the Cat 1993). Alle Texte umfassen rund 1.000 Wörter.
Die Ergebnisse im Einzelnen: Auf der Skala von −3 bis +3 erreichten die KI-Geschichten 1,54 bei der Qualität und 1,42 bei der Vertiefung ins Lesen, die menschlichen 0,97 und 1,00. Der Etikett-Effekt lief unabhängig davon: Als „menschlich“ ausgewiesene Texte wurden mit 1,40 gegenüber 1,12 bewertet, gleich welcher Herkunft sie tatsächlich waren. Bei der Zuordnung erreichten die Teilnehmenden in Experiment 2 39,39 Prozent richtige Antworten – signifikant unter dem Zufallsniveau von 50 Prozent (p < .001) –, in Experiment 3 dagegen 51,97 Prozent und damit nicht vom Zufall unterscheidbar. Wer sich mit KI auskannte, schnitt besser ab (β = 0,13, p < .001 in Experiment 2); literarische Vorbildung half nicht.
⚠️ Was die Untersuchung nicht zeigt, benennen die Autorinnen zum Teil selbst: Es ging um kurze, in wenigen Minuten lesbare Texte realistischer Erzählprosa – längere Werke oder andere Genres können anders ausfallen. Die Zuordnungsaufgabe war eine erzwungene Wahl mit dem ausdrücklichen Hinweis, dass beide Textarten vorkommen, also weniger natürlich als gewöhnliches Lesen. Die Stichprobe ist ausschließlich US-amerikanisch, die Kompetenz-Maße sind überwiegend selbstberichtet. Hinzu kommt eine Einschränkung, die für die Übertragung auf heute entscheidend ist und die aus dem Erhebungszeitraum folgt: Das eingesetzte Modell ist inzwischen mehrere Generationen alt, und die menschlichen Vergleichstexte stammen aus kleineren Literaturzeitschriften, nicht aus dem Kanon. Die Studie misst also, ob Leser den Unterschied bemerken – nicht, ob Maschinen bessere Literatur schreiben.
Zur Beleglage: Die Fachveröffentlichung (Judgment and Decision Making, Band 21, Cambridge University Press, DOI 10.1017/jdm.2026.10042) haben wir selbst geöffnet und ihr alle Zahlen entnommen; die deutschsprachige Wiedergabe von The Decoder nennt die beiden zentralen Mittelwerte deckungsgleich. Nach Angabe der Autorinnen liegen Daten und Materialien offen im Open Science Framework – die Arbeit ist damit begutachtet und nachrechenbar, was sie von den meisten Vergleichszahlen zu KI-Texten unterscheidet.