Der Aufbau. Die Untersuchung entstand nach eigener Angabe im Rahmen von MATS 10 und prüft zwei Kommandozeilen-Agenten in ihren jeweiligen Harnesses: Claude Code und Codex. Gemessen wurden drei Dinge getrennt – die Vorhersage vor dem Lauf, die tatsächliche Ausführungsdauer und die rückblickende Schätzung nach dem Lauf. Als Aufgabenmaterial dienen 200 Aufgaben aus ProgramBench sowie eine eigene Zusammenstellung namens AgentTime mit 235 Aufgaben aus 18 kombinierten Benchmarks. Dazu kommen Ablationen über Prompt-Varianten, Informationszugang und entfernte Zeitstempel.
Die prospektive Schätzung. Auf ProgramBench liegt Claude Opus 4.8 in Claude Code mit einer mittleren Laufzeit von 85 Minuten gegen eine mittlere Vorhersage von 99 Minuten bei einem Kalibrierungs-Verhältnis von 1,16 – auf den ersten Blick gut getroffen. GPT-5.5 in Codex braucht im Mittel 17,5 Minuten und kommt auf ein Verhältnis von 4,12. Auf AgentTime fällt der Fehler größer aus: „Fable 5 over-predicts by 3.1x“, „GPT-5.6 Sol over-predicts by 9.9x“. Die scheinbar gute Kalibrierung von Claude Code ist damit weniger eine Leistung als ein Zufall der Passung: Weil beide Modelle laut den Autoren annehmen, „tasks take roughly the same amount of time“, trifft die Pauschale dort, wo die tatsächliche Dauer ohnehin in ihrer Nähe liegt, und verfehlt sie überall sonst. Bemerkenswert ist auch die Fremdeinschätzung: Für einen „human expert“ setzen beide Agenten drei- bis viermal längere Zeiten an als für sich selbst – „both Claude Code (with Fable) and Codex (with Sol) generate human estimates 3 to 4 times longer than their own“.
Die Selbstbewertung. Fragt man die Agenten im selben Zug nach der Güte ihres Ergebnisses, ziehen beide in dieselbe Richtung: „both Opus 4.8 in Claude Code and GPT-5.5 in Codex converge, overrating their final score by an average of 20%“. Das aussagekräftigste Einzelbeispiel betrifft die PHP-Quellen: „In one case involving `php-src`, both models recognized that execution went badly, but failed to understand just how bad, with both guessing around 70% when their real scores were 7% and 14.5%.“ Die Agenten merken also, dass etwas schiefging – nur nicht, wie sehr.
⚠️ Was wir aus der Rezeption nicht übernehmen. The Decoder fasst den Befund als „Claude im Schnitt 3x, Codex 6- bis 10-fach“ zusammen und vermischt damit die beiden Aufgaben-Sammlungen: Die Faktoren 1,16 und 4,12 stammen aus ProgramBench, die Faktoren 3,1 und 9,9 aus AgentTime und beziehen sich auf andere Modelle (Fable 5 und GPT-5.6 Sol). Ebenso schreibt der Beitrag von einer Überbewertung „um etwa 20 Prozentpunkte“; im Original steht „by an average of 20%“. Ob Prozent oder Prozentpunkte gemeint sind, lässt der Wortlaut offen – wir lösen es nicht auf und geben den Satz deshalb im Original wieder.
⚠️ Zum Status der Quelle. Der Beitrag erschien am 14. August 2026 auf LessWrong, ist also weder begutachtet noch als Preprint auf arXiv hinterlegt; die Zahlen sind Angaben der Autoren, unabhängig nicht nachgerechnet. Für uns zählt er trotzdem als Primärquelle, weil er die Erstveröffentlichung der Messung ist und Methode, Aufgabenzahlen und Rohwerte offenlegt.