Anthropic testete den Vergleich mit 1.053 bezahlten Personen in einer eigens eingerichteten Umgebung. In jeder Sitzung wurde eine Berechtigungsfrage durch einen eindeutig gefährlichen Befehl ersetzt. Der Klassifikator blockierte 937 von 1.053 Befehlen, die menschliche Prüfung 143.
Die menschliche Trefferquote sank laut Anbieter im Verlauf einer Sitzung von etwa 17 auf 5 Prozent nach mehr als 50 vorherigen Prompts. Gleichzeitig bestätigten Nutzer 97 Prozent aller Berechtigungsfragen; 62 Prozent hatten bereits Bypass-Rechte genutzt oder dauerhaft keine Rückfrage verlangt. Enterprise bleibt zunächst Opt-in.
Beim Vergleich abgeschlossener Sitzungen nennt Anthropic 6,3 Prozent schädliche Aktionen nach manueller Freigabe gegenüber 2,4 Prozent im Auto-Mode. Die Studie nutzt weder reale Codebasen noch veröffentlichte Rohdaten; Wettbewerbsvergleiche stammen ebenfalls aus Anthropics Beitrag. Für wichtige Produktionsänderungen empfiehlt das Unternehmen weiterhin menschliche Kontrolle.