Die 502 Fragen stammen aus echten Agentenläufen: 2.677 Läufen von GPT-5.4 und GPT-5.5 an Programmieraufgaben aus SWE-bench Pro und 1.132 von METR öffentlich freigegebenen Läufen an KI-Forschungsaufgaben. Wo zwei Versuche derselben Aufgabe auseinanderliefen oder ein Agent einen Umweg nahm, entsteht eine Gabelung; welcher Zweig besser war, zeigt der spätere Verlauf. Das geprüfte Modell sieht nur den Stand bis zur Gabelung. Als richtig zählt eine Antwort nur, wenn sie in beiden Reihenfolgen der Optionen stimmt.
Hinter GPT-5.6 Sol folgen GPT-5.5 mit 59,5 und Claude Opus 5 mit 55,5 Prozent. Je später sich der Ausgang einer Gabelung zeigt, desto schwerer wird sie: Der Mittelwert der 14 Modelle fällt von 62,3 Prozent, wenn der entscheidende Hinweis schon vor der Gabelung steht, auf 21,0 Prozent, wenn er erst in späterer Arbeit auftaucht – nahe dem Zufallswert. Höherer Reasoning-Aufwand veränderte die Trefferquote von GPT-5.6 Sol um −0,2 und von GPT-5.6 Luna um +2,2 Punkte. Mit SWE-bench Verified korreliert das Ergebnis bei den Programmieraufgaben nur schwach (r = 0,37).
Laut den Autoren lässt sich das Urteil antrainieren. Ein auf Qwen3.6-27B destilliertes Schülermodell gab einem Agenten an jeder Gabelung einen Rat; dessen Erfolgsquote auf 41 zurückgehaltenen SWE-bench-Pro-Aufgaben stieg von 14,6 auf 33,7 Prozent. Die Gabelungen stammen allerdings aus früheren Läufen an genau diesen Aufgaben, der Rat lag also vor dem Start bereit. Das Preprint ist nicht begutachtet; Datensatz und Code sind öffentlich.