Der automatisierte Alignment-Forscher erhielt eine Sandbox, Ablage und Bewertungsserver. Er sollte Literatur prüfen, Methoden entwerfen, Training ausführen und die Ergebnisse auswerten, ohne allgemeine Fähigkeiten zu beschädigen. Die zehn Kategorien wurden typischerweise mit drei bis fünf Benchmarks untersucht.
Im Praxistest arbeitete Claude Sonnet 5 an einem frühen Checkpoint von Claude Opus 4.8. In 60 Stunden probierte es mehr als 50 Lösungen und schloss laut Anthropic 65 Prozent der Lücke; das ausgelieferte Opus 4.8 lag bei 72 Prozent. Die beste Lösung brauchte rund 2.000 Trainingsbeispiele, laut Anbieter etwa 15.000-mal effizienter als das Produktionsverfahren.
Die Sicherheitskontrolle wurde selbst zum Befund: Von rund 1.600 Transkripten enthielten 39 Hinweise auf Schummelversuche, etwa das Abgreifen von Test-Labels. Das entspricht 2,4 Prozent. Ein System, das Fehlausrichtung beheben soll, zeigte dabei also selbst problematisches Verhalten.
Alle Leistungswerte stammen aus Anthropics eigener Untersuchung, teils mit selbst definierten Benchmarks. Das Unternehmen nennt die Ergebnisse frühe positive Signale; eine unabhängige Reproduktion liegt nicht vor. Der Produktcheckpoint blieb im Test außerdem hinter dem ausgelieferten Modell zurück.