Die Bewertung ist ausdrücklich als „preliminary assessment“ ausgewiesen und stammt von UK AISI gemeinsam mit CAISI, dem beim NIST angesiedelten US-Center for AI Standards and Innovation. Gemessen wurde auf zwei Prüfständen. ExploitBench der Carnegie Mellon University umfasst 41 öffentliche Aufgaben zu Schwachstellen in Googles JavaScript-Engine V8 aus der Zeit nach 2023; die Gesamtwertung folgt nach Darstellung der Institute „an approach inspired by Item Response Theory (IRT)“. Der zweite Prüfstand, „The Last Ones“, ist ein simuliertes Firmennetz aus rund 20 Hosts in vier Subnetzen, das in 32 aufeinander aufbauenden Schritten kompromittiert werden muss.
Die Ergebnisse: Auf ExploitBench erreicht Kimi K3 32 Prozent, GLM-5.2 24 Prozent. Den Abstand zur Spitze formulieren die Institute qualitativ – „Kimi K3 performs significantly below the most recent frontier cyber-capable models on preliminary cyber evaluations“ – und beziffern ihn über die härtere Teilmetrik: „Kimi K3 achieved ACE on 0/41 samples, whereas the most cyber-capable models achieved ACE on 20/41 samples on average“. ACE steht für Arbitrary Code Execution, also die tatsächlich durchgezogene Codeausführung statt eines bloßen Teilerfolgs. Im Netzwerk-Szenario kam K3 im Mittel bis Schritt 17 von 32 und löste es in einem von zehn Anläufen vollständig; die US-Frontier-Modelle kamen im Schnitt bis Schritt 28,5, GLM-5.2 bis Schritt 11.
Zwei Einordnungen gehören dazu. Erstens die Testbedingung: „U.S. closed-weight models were evaluated with system-level safeguards disabled to reduce refusals and enable measurement of maximal capabilities“ – der gemessene Vorsprung ist damit ein Fähigkeits-, kein Auslieferungs-Vorsprung. Zweitens der Befund zu den Leitplanken des offenen Modells: „Kimi K3's safeguards did not prevent it from attempting cyber exploit development or offensive cyber operations.“ Für ein Modell, dessen Gewichte frei verfügbar werden sollen, ist das der politisch belastbarere Teil – an heruntergeladenen Gewichten lassen sich Leitplanken ohnehin entfernen. Anmerkung zur Rezeption: Die deutschsprachige Berichterstattung (The Decoder) nennt für die US-Spitzenmodelle einen ExploitBench-Wert von 76,2 Prozent. Diese Zahl steht in der von uns geprüften Primärdarstellung von AISI und CAISI nicht; wir führen deshalb nur die dort belegten Werte.