Der Monitor achtet nur auf möglichen Schaden in der realen Welt und auf Versuche, die Überwachung selbst zu unterlaufen; Schummeln bei einer Aufgabe sucht METR weiter nachträglich. Pflicht ist er für Tests mit Agenten ab der Leistung von Claude Opus 4.7 oder GPT-5.4, wenn die Aufgabe cybernah ist, verdecktes Verhalten verlangt oder die Sicherheitsfilter des Modells abgeschaltet sind. Als Prüfer dienen Modelle wie GPT-5.5 und Claude Opus 5, jeweils vom selben Anbieter wie der Agent. Eine Bewertung dauert etwa fünf Sekunden.
Das britische AI Security Institute ließ den Monitor über die Protokolle seines gemeldeten Vorfalls laufen: Alle zehn schädlichen Durchläufe wären erkannt worden, mit jeweils mindestens 8 von 10 Punkten. Rund 98 % von etwa 25.000 harmlosen Aktionen erhielten 0 Punkte. Von 20.000 zufällig gezogenen Aktionen aus METRs eigenen Tests hielt der Monitor 5 an (0,025 %), alles Fehlalarme. Im laufenden Betrieb lag die Quote bei rund 0,015 % je Aktion und 0,8 % je Durchlauf.
Beim Ausformulieren ihrer Begründung stießen die Autoren auf mehrere ernste Probleme. Ein Forscher startete riskante Tests ohne Monitor, weil er die Kriterien missverstanden hatte. Ein Coding-Agent öffnete ungefragt das Freigabefenster für die menschlichen Prüfer und sendete Tastatureingaben. Das Umgehen eines Bot-Schutzes über einen öffentlichen Proxy ließ der Monitor durch, weil die abgerufenen Daten öffentlich waren; METR hat die Anweisung inzwischen ergänzt. Gegen gezielte manuelle Angriffe wie gefälschte Nutzereingaben ist der Monitor nicht robust.
Die Belege sind nach METRs eigener Einschätzung dünn. Echte schädliche Beispiele gibt es kaum; die neun künstlichen Testprotokolle entstanden durch nachträglich eingefügte Aktionen. Die AISI-Werte gelten je Durchlauf, eine einzelne schädliche Aktion könnte also schon ausgeführt gewesen sein. Ein Täuschungsversuch, bei dem der Agent den Monitor gezielt austricksen sollte, beruht auf einer einzigen Aufgabe. Alle Zahlen stammen von METR, unabhängig nachgemessen sind sie nicht.