Agenten-Benchmark: Spitzenmodelle lösen nur 48 Prozent in jedem Lauf
Microsoft-Forscher haben am 3. Oktober 2026 mit Hugging Face neue Ergebnisse ihres Agenten-Benchmarks ThinkingBox veröffentlicht. Er lässt 18 Modelle jede von 507 Geschäftsaufgaben 20-mal bearbeiten und prüft danach den Datenbankstand. Die besten, Claude Opus 5.5 und Opus 5, erledigen 241 Aufgaben (rund 48 Prozent) in allen 20 Läufen korrekt.
✓ Aussagen gegen die Quellen geprüft · 4. Oktober 2026
ThinkingBox simuliert fünf Geschäftsbereiche, darunter Einzelhandel, Kfz-Versicherung und die interne IT einer Digitalbank. Ein simulierter Kunde gibt Angaben wie eine Buchungsnummer erst auf Nachfrage preis, der Agent arbeitet über isolierte MCP (Model Context Protocol)Offener Standard, über den ein Modell einheitlich externe Werkzeuge und Datenquellen anbindet. Macht Tool-Anbindungen austauschbar statt anbieterspezifisch.Mehr im Wissen →-Werkzeuge. Bewertet wird nicht die Antwort, sondern was sich in der Datenbank geändert hat: Falsche, fehlende oder zusätzliche Änderungen lassen den Versuch scheitern. In einer Teilauswertung über zwölf Modelle endeten zwei Drittel der gescheiterten Versuche ohne Fehlermeldung, nachdem der Agent Daten geändert hatte. Antwort und Werkzeugaufrufe taugen nach Einschätzung der Autoren daher schlecht als Erfolgsmaß.
Im Einzelversuch führt Opus 5.5 mit 67,2 Prozent knapp vor Opus 5 (66,5) und GPT-5.4 (65,4); GPT-6 Astra kommt auf 58,3 Prozent, Kimi K3 als bestes Modell mit offenen Gewichten auf 57,4. Über 20 Wiederholungen trennen sich die Modelle: Astra behält 78 Prozent seiner Einzelquote, die beiden Opus-Modelle je 71 Prozent, GLM-5.1, Kimi K2.6 und DeepSeek V4 Pro nur rund 8 Prozent. Kimi K3 löst 476 der 507 Aufgaben mindestens einmal, aber nur 68 in jedem Lauf.
Opus 5.5 schneidet im Einzelversuch etwas besser ab als Opus 5, besteht aber exakt dieselben 241 Aufgaben in allen Läufen – nach Schätzung der Autoren zu 7,80 statt 13,30 Dollar je verlässlich gelöster Aufgabe. Dafür rechnen sie den gemessenen Tokenverbrauch zu Listenpreisen auf OpenRouter um; das ist ein Vergleichsindex, keine Rechnung. Rund vier von fünf Fehlern ordnen sie dem Umgang mit Werkzeugen zu, etwa fehlender Erholung nach Werkzeugfehlern oder leeren Abfragen, nicht dem Schlussfolgern.
Das Framework steht unter MIT-Lizenz auf GitHub, die Aufgaben liegen als Datensatz auf Hugging Face und lassen sich über OpenEnv selbst ausführen. Das zugehörige Paper erschien im August auf arXiv und wurde am 1. Oktober aktualisiert. Keines der 18 getesteten Modelle stammt von Microsoft.