Alle Depeschen

DepescheForschung

Coding-Agenten überschätzen Laufzeiten und Ergebnisqualität

Eine Untersuchung von 200 ProgramBench-Aufgaben und 235 weiteren Aufgaben misst, wie Kommandozeilen-Agenten ihre eigene Laufzeit und Ergebnisqualität einschätzen. GPT-5.5 in Codex überschätzte die Dauer auf ProgramBench um den Faktor 4,12, Claude Opus 4.8 lag bei 1,16. Beide Systeme bewerteten ihre Ergebnisse im Mittel um 20 Prozent zu hoch.

Die Studie vergleicht Vorhersagen vor dem Lauf, die tatsächliche Dauer und rückblickende Selbsteinschätzungen von Claude Code und Codex. Die eigene Sammlung AgentTime umfasst 235 Aufgaben aus 18 Benchmarks. Auf ProgramBench brauchte Claude Code im Mittel 85 Minuten und sagte 99 Minuten voraus; Codex mit GPT-5.5 benötigte 17,5 Minuten und schätzte deutlich länger.

Auf AgentTime überschätzte Fable 5 die Laufzeit um den Faktor 3,1, GPT-5.6 Sol um den Faktor 9,9. Die Autoren messen zudem einen niedrigen Kompressions-Exponent: Die Vorhersage reagiert nur schwach auf die tatsächliche Aufgabenschwierigkeit und ähnelt häufig einem Standardwert.

Bei der rückblickenden Bewertung lagen Opus 4.8 und GPT-5.5 im Mittel rund 20 Prozent über der später gemessenen Qualität. In einem PHP-Fall erkannten beide, dass die Ausführung misslungen war, schätzten den Wert aber noch auf etwa 70 Prozent, obwohl die tatsächlichen Bewertungen bei 7 beziehungsweise 14,5 Prozent lagen.

Die Arbeit erschien als nicht begutachteter Beitrag auf LessWrong. Die verschiedenen Faktoren beziehen sich auf unterschiedliche Aufgabensammlungen und Modelle; sie dürfen nicht zu einer einzigen Fehlerzahl zusammengezogen werden.