Geprüft wurden zwei Aufstellungen: die etablierten SWE-bench-Lite-Aufgaben, 300 Fälle aus elf verbreiteten Python-Projekten, mit maschinell erzeugten Kontextdateien – und CTXbench, das die Autoren neu aus 5.694 Pull Requests solcher Projekte zusammenstellten, die eigene, von Entwicklern eingecheckte Kontextdateien mitbringen.
Das Ergebnis fällt in beiden Aufstellungen gleich aus: Die mittlere Lösungsrate sinkt laut Papier um 0,5 Prozent auf SWE-bench und um 2 Prozent auf CTXbench. Der Befund gilt über verschiedene Modelle und Agenten hinweg und für maschinell erzeugte wie für eingecheckte Kontextdateien.
Getestet wurden vier Agenten-Konfigurationen: Claude Code mit Sonnet 4.5, Codex mit GPT-5.2 und mit GPT-5.1 Mini sowie Qwen Code mit Qwen3-30B-Coder. Anweisungen in den Dateien befolgen die Agenten gut. Repository-Überblicke, die Modellanbieter ausdrücklich empfehlen, verkürzen dagegen nicht den Weg zu den relevanten Dateien.
Die Autoren verabschieden sich nicht von Kontextdateien: Für nicht standardmäßige Projektregeln blieben sie nützlich, jeder behauptete Leistungsgewinn gehöre aber vor dem Einsatz gemessen. Das Papier ist ein Preprint ohne Begutachtung; die deutschsprachige Rezeption griff es am 12. September 2026 auf.