AA-Briefcase testet keine isolierten Fragen, sondern komplexe Projekte mit Tausenden Quelldateien. Die 91 Aufgaben stammen aus Data Science, Produktmanagement, Bankbetrieb und Strategie für die Schwerindustrie. Bewertet wird, ob ein Modell sämtliche Anforderungen einer Aufgabe erfüllt.
Claude Fable 5 liegt in diesem Maßstab vorn, erreicht die vollständige Erfüllung aber nur bei 3 Prozent der Aufgaben. Bei 31 von 91 Aufgaben überschreitet kein getestetes Modell die Marke von 50 Prozent. In der Elo-Wertung folgen Opus 4.8, GLM-5.2 und GPT-5.5.
Der Benchmark misst eine besonders anspruchsvolle Form mehrstufiger Arbeit über große, unstrukturierte Dateimengen. Sein Ergebnis beschreibt deshalb vor allem die Grenze heutiger autonomer Arbeitsabläufe, nicht die Qualität einzelner Chat-Antworten.