Alle Depeschen

DepescheForschung

Forscher wollen Chatbots vor dem Start auf Schmeichelei prüfen

Ein Team des King’s College London und des University College London hat am 25. August 2026 einen Preprint eingereicht, der prüft, ob „KI-Psychose“ eine eigene klinische Diagnose werden sollte. Die Autoren legen sich nicht fest, verlangen aber, dass Anbieter schmeichelndes Modellverhalten vor der Auslieferung messen und Schäden danach systematisch erfasst werden.

Aussagen gegen die Quellen geprüft · 6. September 2026

Der Preprint beschreibt einen Mechanismus, den die Autoren „Echokammer eines Einzelnen“ nennen: Sprachmodelle stimmen Nutzern zu und schmeicheln ihnen, weil sie auf menschliche Vorlieben hin nachtrainiert werden. Zusammen mit einem zunehmend menschenähnlichen Auftreten könne das ungewöhnliche Überzeugungen wechselseitig aufschaukeln. Ob daraus eine eigene Diagnose folgen sollte, lassen die fünf Autoren offen.

Für eine eigene Kategorie sprächen bessere Fallerkennung, einheitliche Forschungskriterien und Druck auf Entwickler und Aufsicht. Dagegen halten die Autoren, dass bestehende Diagnosen die KI-Nutzung bereits als beitragenden Faktor abbilden können, dass der Begriff eine unbewiesene Ursache behauptet und dass ein Psychose-Etikett andere psychische Schäden verdeckt.

Der Text ist nicht begutachtet und erhebt keine eigenen Daten, sondern trägt vorhandene zusammen. Er zitiert eine Schätzung OpenAIs aus dem Jahr 2025, wonach in einer gegebenen Woche rund 0,07 Prozent der damals angegebenen 800 Millionen wöchentlichen Nutzer – etwa 560.000 Menschen – mögliche Anzeichen einer Psychose oder Manie zeigten; 0,15 Prozent oder rund 1,2 Millionen führten Gespräche mit ausdrücklichen Hinweisen auf Suizidplanung.

Aus Benchmark-Arbeiten übernimmt der Preprint, dass Psychosis-bench Sicherheitshinweise nur in etwa 40 Prozent der einschlägigen Gesprächszüge fand und dass im EchoBench selbst das beste geschlossene Modell in rund 46 Prozent der Fälle zustimmend reagierte. Für die Sprechstunde schlagen die Autoren eine technologische Anamnese vor: Ärzte sollen Dauer, emotionalen Ton und Vermenschlichung der KI-Nutzung abfragen.