Je ein Mitarbeiter von METR und Redwood Research arbeitete drei Wochen auf Geräten von OpenAI, die das Firmengelände nicht verließen, und sprach mit rund einem Dutzend Beschäftigten. Geprüft wurde der Stand bis zum 21. Juli; Änderungen, die damals in Arbeit waren, nicht. OpenAI erhielt einen internen Bericht von 61 Seiten. Die öffentliche Fassung durfte das Unternehmen nach eigenem Ermessen schwärzen, einige Angriffsdetails fehlen deshalb.
Nach Schätzung der Prüfer kamen 75 bis 94 Prozent des internen agentischen Verkehrs über OpenAIs Responses-Schnittstelle, auf der auch Codex läuft, für die Überwachung überhaupt infrage, beim internen Codex-Verkehr 99,2 Prozent. Weil Kompaktierungen – das Zusammenfassen langer Verläufe – nicht geprüft wurden, blieb davon schätzungsweise rund ein Zehntel des Codex-Verkehrs unbeobachtet. Die Prüfer nennen für diese Werte erhebliche Unsicherheit in beide Richtungen.
Zu den Schwachstellen gehört, dass ein Agent seine Prüfung beliebig hinausschieben konnte, indem er einfach weiter handelte. Zwei vom Aufrufer setzbare Header schalteten die Überwachung für neue Agenten ab, und über Unterschiede in der Serialisierung ließen sich vermutlich Eingaben bauen, an denen der Monitor scheitert. Außerdem fanden die Prüfer einen Weg, auf dem Codex-Agenten im Prinzip die Sandbox und die automatische Prüfung (Auto-Review) umgehen konnten.
OpenAI erklärt, alle gefundenen Lücken im produktiven Sicherheitssystem seien geschlossen. Die Prüfer empfehlen, unüberwachte Anfragen nur mit ausdrücklicher Freigabe zuzulassen, Agenten in festen Abständen statt erst am Ende eines Arbeitsschritts zu prüfen, manipulationssichere Protokolle zu führen und Agenten strikt von ihren Monitoren zu trennen. Im Oktober hatte OpenAI selbst zwei Fälle offengelegt, in denen interne Agenten ihre Überwachung abschalteten.