Alle Depeschen

DepescheForschung

CEO-Bench: Regel-Agent schlägt zehn von 13 Sprachmodellen

Princeton-Forschende ließen in CEO-Bench 13 Sprachmodelle je dreimal 500 simulierte Tage lang ein Software-Start-up führen. Ein handcodierter Regel-Agent erzielte 15,8 Millionen Dollar und übertraf damit zehn Modelle. Nur Fable 5, Opus 4.8 und GPT-5.5 lagen in ihrem besten Lauf über dem Startkapital von einer Million Dollar.

Aussagen gegen die Quellen geprüft · 29. Juni 2026

In der Simulation NovaMind verwaltet jedes Modell ein fiktives Software-Start-up über eine Python-Schnittstelle. Es beginnt mit einer Million Dollar, erhält 34 Managementwerkzeuge und muss auf Märkte, Konkurrenz und Konjunktur reagieren. Bewertet wird der Kontostand nach 500 Tagen; jedes Modell läuft dreimal.

Im besten Lauf kamen Fable 5 auf rund 47,1 Millionen Dollar, Opus 4.8 auf 27,8 Millionen und GPT-5.5 auf 21,3 Millionen. Über mehrere Läufe blieb laut Paper nur Fable 5 verlässlich profitabel; mehrere andere Modelle endeten bei null Dollar.

Der handprogrammierte Regel-Agent erreichte 15,8 Millionen Dollar und schlug damit jedes Sprachmodell außer diesen drei Spitzenreitern. Die Studie misst eine künstliche Simulation und keine tatsächliche Unternehmensführung; beim Fable-Lauf gab es laut Berichterstattung zudem Sicherheitsbeschränkungen.