Studie: Schwere Agenten-Gerüste kosten mehr, lösen aber kaum mehr
Yangze Liu und Zhongyi Han von der Shandong University haben am 3. Oktober 2026 eine Studie zu Coding-Agenten veröffentlicht. Auf SWE-bench Verified lösten Claude Code und das minimale mini-SWE-agent mit denselben offenen Modellen fast gleich viele Aufgaben. Je nach Gerüst kostete eine Aufgabe aber bis zu dreimal so viel.
Ein HarnessDie Gerüst- bzw. Steuerungsschicht um ein Modell herum: der Code, der Werkzeuge anbindet, den Loop führt, Sub-Agenten spawnt und Ergebnisse einsammelt. Faustregel: oft bringt ein engerer Harness mehr als ein klügeres Modell.Mehr im Wissen → ist alles, was ein Sprachmodell zum Coding-Agenten macht: System-Prompt, Werkzeuge und Kontextverwaltung. Die Autoren ließen fünf Modelle, darunter Qwen3.8-27B, DeepSeek V4 Flash und GLM-5.3-Flash, durch drei verbreitete Gerüste laufen: Claude Code, OpenCode und mini-SWE-agent. Getestet wurde offline auf SWE-benchCoding-Benchmark, der Modelle echte GitHub-Issues in realen Repositories lösen lässt; gewertet wird, ob der erzeugte Patch die Tests besteht. Verbreitet, aber zunehmend durch Trainings-Kontamination belastet.Mehr im Wissen → Verified, zunächst an 45 schweren Aufgaben mit wiederholten Durchläufen.
Auf 447 weiteren Aufgaben, gerechnet mit zwei selbst betriebenen Qwen-Modellen, lagen Claude Code und mini-SWE-agent statistisch gleichauf; das kleine Gerüst löste sogar jeweils einige Aufgaben mehr, mit Qwen3.8-27B 353 statt 347. Nur OpenCode fiel mit diesem Modell um bis zu 9,2 Prozentpunkte zurück. Auf den 45 schweren Aufgaben änderte ein Gerüstwechsel im Median 13 Prozent der Einzelergebnisse – so viele wie ein bloßer Wiederholungslauf.
Bei den Kosten trennen sich die Gerüste deutlich. Claude Code schickt mit jedem Aufruf rund 16.600 Token an System-Prompt und Werkzeugbeschreibungen mit, OpenCode rund 7.000, mini-SWE-agent 829. Mit demselben Modell und derselben Preisliste kostete eine Aufgabe je nach Gerüst bis zu dreimal so viel; bei GLM-5.3-Flash etwa 1,81 Yuan unter Claude Code gegenüber 0,97 Yuan unter mini-SWE-agent. Daten und Auswerteskripte liegen unter MIT-Lizenz auf GitHub.
Die Autoren nennen die Grenzen selbst: Die Ergebnisse stammen im Kern aus einem Benchmark. Eine Gegenprobe auf 50 Aufgaben von Terminal-Bench 2.1 ergab 19 bis 20 gelöste Aufgaben für alle drei Gerüste. Claude Opus 5 lief nur in Claude Code; ob geschlossene Spitzenmodelle dieselben Abstände zeigen, bleibt offen. Die Arbeit ist ein Preprint ohne Begutachtung.