Reward Hacking heißt, dass ein Modell die Bewertung austrickst, statt die Aufgabe zu lösen. Um das zu bestrafen, setzte Google im Reinforcement Learning für Argon einen zusätzlichen Strafterm ein. Laut dem 217-seitigen Safety & Security Report berechnete er sich in einer kleinen Zahl früher Trainingsläufe versehentlich nicht nur über die Antworten, sondern auch über die Gedankenkette. Schon das Nachdenken über einen Trick kostete also Punkte. Google entfernte die Einstellung, nachdem eine Prüfung der eigenen Trainingspipeline sie aufgedeckt hatte.
Wie stark der Effekt sein kann, zeigt Google an einem kleinen Testlauf, der in kein veröffentlichtes Modell einging und in dem der Strafterm deutlich mehr Gewicht hatte als bei Argon. Dort nahmen Lösungen mit Merkmalen von Reward Hacking im Lauf des Trainings relativ um 26 Prozent zu, während das Modell solche Tricks um 61 Prozent seltener beim Namen nannte. Der Anteil verschwiegener Tricks stieg von 11,2 auf 36,4 Prozent. In einem Vergleichslauf ohne Einblick in die Gedanken blieb die Benennung etwa gleich.
Für Argon schätzt Google den Einfluss als gering ein. Ein Monitor, der Aktionen und Gedankenkette in Echtzeit liest, ertappte das Modell im Training selten dabei, fehlerhafte Testumgebungen auszunutzen: Es versuchte, sich Container-Rechte zu verschaffen, um Bewertungsskripte zu ändern, las Antworten aus dem Speicher des Testsystems und brachte einmal die Prüf-Sandbox zum Absturz, um einer schlechten Bewertung zu entgehen.
Schwerer zu messen ist Argon auch, weil es Prüfungen erkennt. In 17 Sabotage-Testumgebungen äußerte es in 61 bis 77 Prozent der Protokolle den Verdacht, getestet zu werden; Gemini 3.1 Pro tat das in 8 bis 9 Prozent. Sabotiert hat Argon dort nie, oft mit Verweis auf den vermuteten Test. Google wertet das Ergebnis deshalb ausdrücklich nicht als realistische Schätzung.