Die Teilnehmer hatten im Schnitt 5,4 Jahre Berufserfahrung, vier von ihnen arbeiten in der Wirtschaftsprüfung. Für jede Aufgabe galten drei Stunden; zwei der vier Aufgaben bearbeiteten sie mit Claude Cowork. Ein Sprachmodell bewertete die Abgaben anhand von 13 bis 22 Kriterien je Aufgabe und stimmte bei acht von Hand nachbewerteten Abgaben zu 98 Prozent mit dem menschlichen Urteil überein. Claude lief als Agent mit höchstens 250 Schritten.
Mit KI-Hilfe waren die Buchhalter laut Mercor langsamer und etwas ungenauer als Claude allein; sie brauchten je Aufgabe etwa 15-mal so lange. Bei den Kriterien, die Menschen überwiegend erfüllen, waren die Modelle 34-mal schneller als Buchhalter ohne Hilfe. Die Aufgabenautoren hatten Berufseinsteigern 30 Prozent und erfahreneren Kräften 55 Prozent zugetraut. Vor anderthalb Jahren lagen die besten Modelle laut Mercor noch unter dem menschlichen Wert, einige neuere Modelle liegen weiterhin darunter.
Die Aufgaben sind vereinfacht und so angelegt, dass Modelle daran scheitern sollten; Rückfragen und Firmenkontext gab es nicht. Fünf der zwölf Teilnehmer hielten sie für unrealistisch, was Mercor selbst einräumt. Mercor vermittelt Fachleute für Trainingsdaten an KI-Labore und lizenziert APEX-Daten fürs Training; vier Teilnehmer hatten bereits an Mercor-Projekten gearbeitet. Eine unabhängige Wiederholung gibt es nicht.
Auf der Rangliste zu APEX-Accounting, den Mercor im Juli vorgestellt hat, erfüllt Claude Opus 5.5 auf höchster Aufwandsstufe im Schnitt 61,8 Prozent der Kriterien, vor Fable 5.1 mit 61,0 und GPT-6 Astra mit 57,9 Prozent. 58 Prozent der Aufgaben löst dort kein Modell in acht Versuchen vollständig.