NanoGPT misst, wie schnell ein Training auf dem FineWeb-Datensatz ein festgelegtes Verlustziel erreicht. METR schätzt die bisherige menschliche Arbeit an dem öffentlichen Projekt auf rund 1.650 Stunden beziehungsweise etwa 250.000 US-Dollar. Die Agenten starteten bei Rekord 78 mit 85,56 Sekunden Trainingszeit und erhielten je Lauf bis zu 10.000 US-Dollar Rechenbudget.
GPT-5 und Opus 4.1 verbesserten den Ausgangspunkt kaum. METR schätzt ihren Expenditure Horizon auf null; GPT-5.5 erreicht 2.300 und Opus 4.8 3.300 US-Dollar. Die meiste Ausgabe entfiel auf Experimente mit H100-GPUs. Für die besten Modelle hält METR nur rund 60 Prozent der Opus-4.8- beziehungsweise 50 Prozent der GPT-5.5-Speedups für übernehmbar.
Die Messung betrifft ausdrücklich autonome Optimierung. METR nennt ein ineffizientes Harness, Rauschen in den Verläufen, bereits KI-geprägte Ausgangslösungen und ein mögliches Trainings-Kontaminationsrisiko. Menschliche Arbeit mit KI-Unterstützung kann deshalb deutlich besser abschneiden; neuere Modelle wie Opus 5 und GPT-5.6 Sol wurden nicht getestet.