Die Definition ist bewusst schlicht: Der Expenditure Horizon ist „the dollar value at which the improvement to the goal metric is equal to the improvement by a human with the same budget“. Man trägt also für Mensch und Agent den erreichten Fortschritt gegen die aufgewendeten Kosten auf und sucht den Schnittpunkt beider Kurven. Unterhalb davon lohnt der Agent, oberhalb der Mensch. METR weist ausdrücklich darauf hin, dass die Methode Aufgaben mit „fairly smooth returns to labor“ voraussetzt – bei sprunghaften Fortschrittskurven sind beide Seiten schlecht messbar.
Als Prüffeld dient der NanoGPT-Speedrun, „a public collaborative project to minimize the wall-clock training time required to reach a target validation loss while pre-training on the FineWeb dataset“ auf acht H100-GPUs mit einem festen Verlust-Ziel von 3,28. Der Vorteil dieser Wahl: Es gibt eine öffentliche Historie menschlicher Beiträge. METR schätzt die kumulierte menschliche Arbeit von Mai 2024 bis April 2026 auf rund 1.650 Stunden; bei einem angesetzten Stundensatz von 150 US-Dollar – entsprechend einem Jahresgehalt von 300.000 US-Dollar für eine Nachwuchs-Forschungsstelle – ergibt das eine Gesamtausgabe von 250.000 US-Dollar. Aus Interviews leitet METR ab, dass ein Prozentpunkt Verbesserung am Rand „very roughly $2,500 in human labor“ kostet.
Die Agenten starteten von Rekord Nr. 78 aus (März 2026, 85,56 Sekunden Trainingszeit) und bekamen je Lauf bis zu 10.000 US-Dollar Budget über fünf Tage, auf vier H100-Knoten bei Modal – insgesamt 32 GPUs. Der Löwenanteil der Kosten steckt dabei nicht im Modell, sondern im Rechnen: Die Experimente machten „around 70-90% of the cost“ aus. Das Ergebnis: GPT-5 und Opus 4.1 machten keinen nennenswerten Fortschritt, ihr Horizont liegt bei null. GPT-5.5 kommt auf 2.300, Opus 4.8 auf 3.300 US-Dollar. METRs eigene Zusammenfassung lautet: „after more than $10K of expenditure we estimate expenditure horizons of $0–$3K“.
METR führt die Einschränkungen ungewöhnlich ausführlich selbst auf. Das Harness sei „likely inefficient“ – die Agenten hatten durchgehend Zugriff auf vier Knoten und fuhren entsprechend viele Experimente. Die Rohverläufe überzeichneten den Fortschritt wegen statistischen Rauschens; bei den besten Modellen hält METR nur etwa 70 Prozent der Beiträge für nach Maßstab der Projekt-Betreuer übernehmbar. Inhaltlich seien die Lösungen überwiegend „mostly fiddling with knobs“ statt verallgemeinerbarer Änderungen, teils mit Versuchen, die Bewertung auszutricksen. Der Startpunkt selbst enthält bereits maschinell erzeugte Optimierungen (Rekord Nr. 72 war KI-generiert), was den messbaren Zusatzeffekt drückt. Und es gibt ein Kontaminations-Risiko, das METR nicht ausräumen kann: „Unfortunately OpenAI and Anthropic haven't publicly disclosed whether they train on NanoGPT, so we can't be sure here.“ Schließlich der methodische Kern-Vorbehalt: „This method only estimates the value of _autonomous_ optimization. In some cases we would expect hybrid optimization (humans assisted by AI) to be a significant improvement on autonomous optimization.“