Alle Depeschen

DepescheMethodik

Artificial Analysis bewertet KI-Modelle nach neuen Tests

Artificial Analysis veröffentlichte am 4. September 2026 Index v4.2 mit AA-Briefcase und GDP.pdf, zwei Prüfungen mit zurückgehaltenen Testsätzen. GPQA Diamond entfiel. Bei 32 von 35 Katalogmodellen sanken Intelligenz- oder Agentikwerte, während Coding im Toleranzband blieb. Der Katalog wurde entsprechend aktualisiert.

Artificial Analysis ergänzt den Intelligence Index um AA-Briefcase und GDP.pdf und streicht GPQA Diamond. AA-Briefcase prüft agentische Wissensarbeit in komplexen Projekten mit zurückgehaltenen Testsätzen. GDP.pdf bewertet professionelles Dokumenten-Reasoning über 100 PDFs und 4.592 Seiten. Artificial Analysis begründet den Wegfall von GPQA Diamond mit dessen Sättigung.

Mit v4.2 stammen 40 % der Indexgewichtung aus privaten, zurückgehaltenen Testsätzen – laut Artificial Analysis doppelt so viel wie in v4.1. Die Anbieterseite nennt keinen Zeitpunkt, ab dem v4.2 gilt, und erklärt nicht, ob ältere Werte vollständig neu erhoben oder teilweise umgerechnet wurden.

Seit v4.2 zeigt unser Katalog bei 32 von 35 Modellen niedrigere Intelligenz- oder Agentikwerte; die Coding-Werte der betroffenen Modelle blieben im Toleranzband. Auf der Intelligenzachse fiel GPT-6 Astra von 61,2 auf 54,7, Claude Fable 5.1 von 65,7 auf 56,8 und GLM-5.3-Flash von 58 auf 46,2. Die älteren v4.1-Zahlen bleiben als datierte Messungen erhalten, sind aber nicht mit den neuen Werten vergleichbar.

Der Wechsel verändert auch die interne Rangfolge: GPT-6 Astra fällt auf der Intelligenzachse von 61,2 auf 54,7 und rückt im Katalog von Rang 5 auf Rang 2. Claude Opus 5 liegt dort mit 54,1 dahinter, Claude Fable 5 mit 53,2; Astra ist damit kein neues Modell und nicht leistungsfähiger geworden, sondern wird nach einer anderen Indexzusammensetzung bewertet.

Terminal-Bench v2.1 und τ²-bench bleiben unverifiziert. Für Muse Spark 1.3 liegt kein v4.2-Wert vor; der frühere Rangvergleich bezieht sich daher auf v4.1.