Alle Depeschen

DepescheMethodik

Artificial Analysis tauscht einen Agenten-Test im Intelligenz-Index

Artificial Analysis veröffentlichte am 7. September 2026 die Index-Fassung v4.3: AutomationBench-AA ersetzt τ³-Banking, der Anteil zurückgehaltener Aufgaben steigt von 40 auf 45 Prozent. Ein eigener Abgleich ergab bei 30 von 35 Katalogmodellen niedrigere Werte. Der Katalog ist nachgezogen.

Aussagen gegen die Quellen geprüft · 11. September 2026

Die Änderung steht in Artificial Analysis’ eigener Ankündigung vom 7. September: τ³-Banking weicht AutomationBench-AA, das „broader business workflows across applications“ prüfen soll. Zugleich steigt das Gewicht der Prüfungen mit zurückgehaltenen Aufgaben oder Antworten von 40 auf 45 Prozent. Drei Tage zuvor war mit v4.2 schon GPQA Diamond entfallen und der Anteil privater Testsätze von 20 auf 40 Prozent gestiegen.

Wir haben die Frei-Route der Schnittstelle am 11. September selbst abgefragt: 646 Modelle, ausgewiesene Fassung 4.3. Von 146 geprüften Katalogwerten blieben 110 im Toleranzband, 30 Modelle wichen ab – ausnahmslos nach unten. Auf der Intelligenz-Achse fällt GPT-6 Astra von 55 auf 53, Claude Fable 5.1 von 57 auf 53, Claude Sonnet 5 von 45 auf 38 und Gemini 3.5 Flash von 42 auf 33. Nur zwei Agentik-Werte verschoben sich, die Coding-Werte blieben im Band.

Der Katalog führt die neuen Zahlen ab heute. Die älteren Messungen bleiben in den Textfeldern der Modellseiten als datierte Werte stehen, weil sie mit den neuen nicht vergleichbar sind. Unberührt bleiben auch die Prüfstempel der Einträge: Nachgezogen wurde allein die Zahl aus demselben Endpunkt, nicht die fachliche Prüfung des ganzen Eintrags.

Dass die Umstellung breit angekommen ist, zeigt die Rezeption: Im Technik-Podcast c’t 4004 vom 10. September trug ein Redakteur dieselben nachgezogenen Werte vor – Fable 5.1 und Astra gleichauf bei 53, dahinter Opus 5 mit 51, Fable 5 mit 50, Muse Spark 1.3 mit 48 und GPT-5.6 Sol mit 47. Das deckt sich Punkt für Punkt mit unserer Messung. Einen Zeitpunkt, ab dem v4.3 gilt, nennt Artificial Analysis nicht; ob Altwerte neu erhoben oder umgerechnet wurden, ebenfalls nicht.