Was gemessen wurde: FAR.AI stellte einen Baukasten aus mehr als 60 öffentlich dokumentierten Jailbreak-Techniken zusammen, ergänzte eigene und kombinierte sie – teils gleichverteilt zufällig, teils mit einem Fachmann, der die aussichtsreichen Bausteine höher gewichtete. Je Modell liefen rund 1.500 zusammengesetzte Angriffe. Als „universell“ zählt ein Angriff erst, wenn er kein Einzeltreffer ist, sondern ein wiederverwendbarer Schlüssel: Er muss in mehr als drei Vierteln der schädlichen Anfragen einer Domäne durchkommen. Die Domänen bilden dabei unterschiedliche Angreifer-Typen ab – wer Ransomware bauen will, ist nicht dieselbe Person wie jemand, der Sprengsätze plant –, weshalb ein Jailbreak im Cyber-Feld nicht automatisch im Sprengstoff-Feld wirkt.
Die Zahlen im Einzelnen: Grok 4.5 lieferte 448 verschiedene universelle Jailbreaks, Gemini 3.1 Pro 249. Claude Fable 5 und GPT-5.6 Sol lieferten keinen einzigen. Die Kostenachse macht den Abstand greifbar: rund 58 Dollar an API-Ausgaben für einen Treffer bei Grok 4.5 – in der Cyber-Domäne allein rund 24 Dollar –, rund 278 Dollar bei Gemini 3.1 Pro, und über 14.200 Dollar bei den beiden robusten Modellen, wo die Suche ergebnislos blieb. FAR.AI beziffert den Abstand als „hundertfach“. Bereits die reine Zufallssuche ohne Expertenlenkung fand 63 universelle Jailbreaks bei Grok und 18 bei Gemini. Adam Gleave, Mitgründer und Geschäftsführer, begründet das Vorhaben so: „AI agents can hack into corporate networks and provide detailed guidance on how to create weapons of mass destruction, yet there is remarkably little independent, systematic evidence showing how well their safeguards perform against realistic misuse.“
Warum die Messung methodisch belastbarer ist als der akademische Durchschnitt, erklärt Gleave im begleitenden Fachgespräch: Ein verbreiteter Fehler sei, eine Antwort schon dann als Erfolg zu zählen, wenn sie mit „sure, I can help you with that“ beginne. Weil Anbieter längst nicht mehr hart ablehnen, sondern mit „safe completions“ arbeiten – auf die Frage nach Sprengstoff kommt eine Antwort über Sicherheitsvorschriften und zugelassene Pyrotechniker –, überschätze das die Trefferquoten erheblich. FAR.AI prüft deshalb dreifach: Die Antwort darf nicht verweigern, muss thematisch zum Ziel des Angreifers passen und muss Punkte auf einer zielspezifischen Bewertungsvorlage erreichen. Die wirksamen Angriffe sind dabei unspektakulär – überwiegend Sozialtechnik, meist eine Berufung auf Autorität. Der Zugewinn liegt im Stapeln: „most of these jailbreaks are not going to work on their own. But if you stack them together, that combination ends up being able to bypass quite a lot of model safeguards.“
Ein Muster zieht sich durch alle Modelle: Biologie ist die robusteste Domäne, dort fand FAR.AI keine universellen Jailbreaks. Gleave nennt dafür zwei Gründe, einen banalen und einen strukturellen. Banal: „all the developers started focusing on bio first“ – dort liegen die meisten freiwilligen Selbstverpflichtungen und die längste Iterationszeit, während chemische, radiologische und nukleare Felder schlicht weiter unten auf der Prioritätenliste stehen. Strukturell: Biologie lasse sich in klare Stufen schneiden (harmlose Schulbiologie, Doppelverwendung nur für geprüfte Nutzer, niemals zu beantwortende Fragen), Chemie dagegen kaum – welche Kampfstoffe existieren, steht in internationalen Abkommen, die Schwierigkeit liegt in der Herstellung, und die ist doppelverwendbar. Der Preis dieser Robustheit ist sichtbare Über-Verweigerung; Gleave berichtet, Fable 5 habe ihm eine Frage zur Sake-Gärung als Bio-Anfrage abgelehnt und auf ein schwächeres Modell heruntergestuft.
Einordnung und Grenzen: Der Test war ausdrücklich als Mindeststandard gebaut, nicht als härtestmögliche Prüfung – adaptive Verfahren, bei denen man aus jeder Ablehnung lernt und nachjustiert, wurden bewusst weggelassen, weil sie deutlich teurer sind. Gegen wirklich hartnäckige Angreifer reicht das Ergebnis daher nicht als Entwarnung: Nach Gleaves eigener Erfahrung dauert es „of the order of weeks“, um auch bei den robusten Modellen einen universellen Jailbreak zu finden. Offene Gewichte stehen noch nicht auf der Rangliste; eine Version 1.1 ist angekündigt. Für sie nennt Gleave einen Erfahrungswert, der in der laufenden Open-Weights-Debatte auf der anderen Seite steht als das Hugging-Face-Protokoll: „it's never taken us more than a few hours to jailbreak an open-weight model“ – mit dem fairen Zusatz, dass offene Modelle eine größere Angriffsfläche und meist geringere Fähigkeiten haben und deshalb nicht am selben Maßstab zu messen seien.
Anschluss an unsere Berichterstattung: Der Befund liegt quer zu zwei Strängen, die wir seit Wochen verfolgen. Zum einen zur Frage, ob offene Gewichte die Sicherheit erhöhen oder senken – hier steht Gleaves Stunden-Befund gegen den bei uns A-belegten Fall, in dem Hugging Face sich nur mit einem offenen Modell verteidigen konnte, weil die Leitplanken der geschlossenen Modelle die Verteidiger aussperrten ([huggingface-forensik-leitplanken-glm-5-2](/depeschen/huggingface-forensik-leitplanken-glm-5-2)). Gleave selbst benennt beide Seiten und nennt den Hugging-Face-Vorfall ausdrücklich ein Kontroll- und Überwachungsversagen, kein Alignment-Versagen. Zum anderen zur Mengenlage aus IBMs Datenpannen-Bilanz: Dort war der teuerste Befund nicht die Angriffstechnik, sondern die fehlende Zugriffskontrolle auf der Verteidigerseite. Beides zusammen ergibt dieselbe Diagnose – die Lücke liegt weniger im Modell als in dem, was um das Modell herum gebaut wird.