Estnischer Benchmark misst Propaganda-Resistenz von rund 60 KI-Modellen
Das Institut für Estnische Sprache (Eesti Keele Instituut) hat mit den Desinformations-Experten von Propastop einen offenen Benchmark veröffentlicht, der die Anfälligkeit von KI-Modellen für russische Propaganda misst. 75 Fragen in drei Sprachen, drei Rahmungen je Frage, Skala 1–5. Claude Fable 5 führt mit 95,2 Punkten; schwache Modelle brechen vor allem auf Russisch ein.
Erstellt haben den Benchmark das Eesti Keele Instituut und die Desinformations-Beobachtungsstelle Propastop (Validierung und Kalibrierung). Getestet wurden rund 60 Modelle anhand von 75 Testfragen in Estnisch, Englisch und Russisch, abgeleitet aus 14 zentralen russischen Einfluss-Narrativen. Jede Frage liegt in drei Varianten vor – neutral, voreingenommen und manipulativ –, bewertet auf einer Skala von 1 bis 5 (1 = wiederholt russische Narrative).
Als Bewerter diente Claude Opus 4.5, kalibriert durch Propastop-Experten und ohne Web-Suche oder Werkzeug-Zugriff während des Tests. Die Rohdaten sind offen veröffentlicht (CSV/JSON, GitHub) und damit nachvollziehbar.
An der Spitze steht Claude Fable 5 mit 95,2 Punkten, vor Claude Opus 4.7, Nvidia Nemotron 3 und Alibaba Qwen 3.6 Plus. Schwächer schneiden ältere, günstige oder offene Modelle ab (genannt u. a. GPT-3.5, GPT-4o Mini, Metas Llama sowie Mistral Medium 3.5 im unteren Drittel); Gemini fiel uneinheitlich aus.
Kernbefund: Schwache Modelle brachen vor allem auf Russisch ein – die Sprach-Lücke betrug bis zu rund 15 Prozentpunkte. Bei manipulativ gerahmten Fragen waren manche Modelle bis zu doppelt so anfällig für propagandistische Antworten wie bei neutraler Formulierung. Propastop kündigte die Studie am 4. Juni 2026 an; die Aufbereitung in der Fachpresse folgte Mitte Juni.