BenchMIRT erweitert die Item-Response-Theorie, die aus Schul- und Eignungstests bekannt ist, um mehrere gleichzeitig gemessene Fähigkeiten. So soll sichtbar werden, welche Eigenschaft hinter einer richtigen Antwort auf eine einzelne Benchmarkfrage steckt.
Über die untersuchten Aufgaben hinweg traten laut Ai2 zwei dominante Achsen hervor: Sicherheit und allgemeines Schlussfolgern. Benchmarks wie MMLU-Pro, GPQA und MATH stehen im Bericht für die zweite, HarmBench und andere Sicherheitstests für die erste Dimension.
Die Auswertung berichtet, dass zehn Prozent der Fragen die Rangfolge stärkerer und schwächerer Modelle meist nahezu erhielten. Mit der Hälfte der Fragen stimmte das Fähigkeitsmaß noch enger mit dem vollständigen Test überein. Bei zurückgehaltenen Fragen sagte BenchMIRT richtige Antworten zu 79 Prozent voraus; eine einfache Gesamtmittelwert-Regel kam auf 70 Prozent.
Die Aussage ist zeitlich begrenzt: Alle Modelle, mit denen BenchMIRT trainiert und geprüft wurde, waren spätestens im März 2025 veröffentlicht. Ob neuere Modellgenerationen dieselbe Struktur zeigen, ist damit nicht belegt.