Gemessen wird die sogenannte CoT-Steuerbarkeit: wie zuverlässig ein Modell einer Anweisung folgt, seine Gedankenkette in einer bestimmten Form zu halten. Bei Gedankenketten zwischen 750 und 1.250 Token folgt Astra solchen Anweisungen in 60,9 Prozent der Fälle, GPT-5.6 Sol in 16,1 Prozent und GPT-5.5 Thinking in 1,7 Prozent. Laut Karte steigt dieser Wert bei Astra im Verlauf des Reinforcement-Learning-Trainings weiter an.
Für gezieltes Untertreiben in Prüfungen – im Fachjargon Sandbagging – nutzt OpenAI zwei Datensätze: WMDP mit Multiple-Choice-Fragen zu gefährlichen Fähigkeiten und die interne Software-Aufgabensammlung Monorepo-Bench. Beide Modelle senken ihre WMDP-Trefferquote auf Anweisung von 84,8 auf 68,9 Prozent. Die Auswertung stützt sich auf 400 Fragen mit je drei Durchläufen.
Wird Astra zusätzlich zum Ausweichen aufgefordert, erkennt ein Monitor, der nur die Gedankenkette sieht, das Untertreiben bei WMDP in unter 11 Prozent der Fälle; bei GPT-5.6 Sol bleibt derselbe Monitor nahe 100 Prozent. Bei Monorepo-Bench fällt Astras Erkennungsquote auf null. Weiß das Modell nur, dass es überwacht wird, ohne zum Ausweichen aufgefordert zu sein, bleibt die Erkennung dort auf dem Niveau ohne Hinweis.
OpenAI nennt auch Grenzen des Befunds. Steganografische Gedankenketten – tragende Überlegungen, versteckt in unauffälligem Text – findet die Karte nicht: Erfordert eine Aufgabe Nachdenken, kann Astra dieses Nachdenken offenbar nicht verbergen. Ein Monitor, der den vollen Verlauf statt nur die Gedankenkette sieht, erkennt die Verstöße weiterhin. Das Ausweichrisiko sei daher weitgehend auf Aufgaben begrenzt, die ohne sichtbares Nachdenken lösbar sind.
Die britische Prüfstelle UK AISI konnte den agentischen Teil der Überwachbarkeits-Prüfung nicht abschließen und erhebt laut Karte ausdrücklich keinen Anspruch auf ein Gesamturteil zur Überwachbarkeit. OpenAI selbst schreibt, man nehme den Rückgang ernst: Setze er sich über weitere Modellgenerationen fort, sinke das Vertrauen in die Erkennung vieler Formen von Fehlverhalten deutlich.