METR prüfte zwei Fragen: ob Forschung und Entwicklung bei Anthropic durch Opus 5.5 dramatisch beschleunigt würden, und ob sie es während der Entwicklung des Modells bereits waren. Ausdrücklich nicht geprüft wurde, ob das Modell eine Schwelle aus Anthropics Sicherheitsregeln einhält oder ob es fehlausgerichtet ist.
Grundlage waren fünf Aufgaben – ein begrenzter NanoGPT-Speedrun, ein Datensatz bewerteter Argumente, das Nachbilden eines Programms per Training, ein Spiel-Bot und eine offene Rechercheaufgabe –, dazu ein Fragebogen an Anthropic und ein Interview mit einem Forscher des Unternehmens.
Zur ersten Frage fällt das Urteil zurückhaltend aus. Opus 5.5 verbessere Fable 5.1 sowohl bei überprüfbaren als auch bei schwer überprüfbaren Aufgaben, sei in den quantitativen Messungen aber ein schrittweiser Fortschritt und kein sprunghafter. Es fehlten weiterhin Eigenschaften, die eine erfahrene Fachkraft bei langen, offenen Aufgaben zeigt: Voraussicht, Vorhersage und das Bauen eigener Rückkopplungsschleifen.
Zur zweiten Frage stützt sich METR auf eine eigene, noch vorläufige Schätzung: rund anderthalbfache Beschleunigung der Fähigkeitsentwicklung durch KI, also anderthalb Jahre Fortschritt in einem Jahr, mit vielleicht 30 Prozent Wahrscheinlichkeit für den Faktor zwei. METR schränkt selbst ein, dass der vorläufige Bericht keinen Zeitraum nennt – ob die Zahl überhaupt für die Entwicklung von Opus 5.5 gilt, bleibt offen.
Die Unabhängigkeit ist geregelt, aber nicht vollständig. Die Prüfung lief unter einer unbezahlten Vereinbarung; METR schrieb den ersten Entwurf, Anthropic durfte ihn prüfen und bearbeiten, METR gab die Endfassung frei. Eine Transparenzklausel erlaubt METR, ohne Anthropics Zustimmung offenzulegen, ob das Unternehmen sein Schwärzungsrecht genutzt hat und ob Befunde von geschwärzten Angaben abhingen. Eine weitere genutzte Informationsquelle darf METR derzeit nicht nennen.