Die Datengrundlage haben die Autoren selbst erhoben: „We collect one response per available model–item pair through OpenRouter’s API, using zero temperature and a maximum generation length of 1,024 tokens.“ Erfasst sind offene Modellfamilien „from 1B to ∼1T total parameters (Llama, Gemma, Qwen, DeepSeek, Mistral, GLM, Kimi, gpt-oss, among others)“ sowie geschlossene API-Modelle (GPT, Claude, Gemini, Grok). Die acht Benchmarks heißen AdvBench, HarmBench, SORRY-Bench, Do-Not-Answer, AHB, OR-Bench-Hard, Health-ORSC und TruthfulQA; von 5.255 Items vor der Bereinigung bleiben 5.067 übrig. Das Paper bezeichnet sich damit als „the largest psychometric analysis of LLM safety evaluations to date“.
Die drei Faktoren sind nicht vorab gesetzt, sondern Ergebnis der Analyse. Zur Verweigerungsstrenge heißt es: „HarmBench, SORRY-Bench, and AHB load on one end of this factor, while OR-Bench-Hard loads on the other“ – der Über-Verweigerungs-Benchmark zeigt also in die Gegenrichtung. Zum zweiten Faktor: „TruthfulQA and Do-Not-Answer define a second factor. This factor is nearly independent of refusal strictness.“ Der dritte entsteht aus AdvBench und Health-ORSC, „through their moderate correlation“. Wie stark sich Tests innerhalb eines Clusters duplizieren, zeigen die Korrelationen: „HarmBench and SORRY-Bench abilities correlate strongly (ρ=0.89), and both correlate negatively with OR-Bench-Hard (−0.77≤ρ≤−0.67).“ Der Schluss steht wörtlich im Text: „The eight benchmarks cannot be interpreted as interchangeable measures of a single safety property.“
Der praktische Ertrag liegt im zweiten Ergebnis. Neben den adaptiv gewählten rund zehn Items nennt der Volltext eine feste Variante: „Three fixed 25-item tests recover all three latent abilities using under 2% of the suite.“ Die Ersparnis beziffert das Abstract auf 97 bis 99 Prozent der Auswertungskosten – gemessen nicht an einem beliebigen Sparansatz, sondern gegen Zufallsstichproben gleicher Größe, die laut Abstract schlechter abschneiden.
Der Audit-Teil zielt auf zwei Fragen, die Prüfer bisher schlecht beantworten konnten. Erstens Sandbagging, also absichtliches Schlechterabschneiden bei erkannter Prüfung: Person-Fit-Statistiken schlagen bei „80–100% of targeted and triggered sandbagging runs“ an, der Test auf verschobene Fähigkeit bei „84% of uniform runs“, zusammengenommen bei „94–97% of sandbagging runs in every scope“. Zweitens der stille Modellwechsel hinter einem Endpunkt: Über 16 erneut abgefragte Endpunkte identifizierte das Verfahren „13 of 14 distinct model identities“ korrekt.
⚠️ Die Grenzen benennt das Paper selbst. Die 192 Modelle sind der Erhebungsumfang, nicht die Basis jeder Auswertung: „Our cross-benchmark analyses use up to 169 models, of which 134 enter the latent-structure analyses; this is large for an LLM study but smaller than conventional human-testing datasets that form the basis of most psychometric analysis.“ Und die Sandbagging-Erkennung ist an gestellten Fällen geprüft: „our sandbagging detection is evaluated on prompted model organisms rather than fine-tuned ones, which might be easier to catch than scheming models that can vary their responses more adversarially across datasets“. Ein Code- oder Datenrepositorium nennt der Volltext auf unsere gezielte Nachfrage nicht; es heißt lediglich, man gebe „all artifacts for the community to build on“ frei. Unabhängig nachgerechnet hat die Auswertung bislang niemand.