Alle Depeschen

DepescheMethodik

Artificial Analysis hat seinen Intelligence Index neu geeicht – wir haben 17 Modellwerte nachgezogen und zwei Scheinbefunde aussortiert

Die Modellwerte auf unseren Katalogseiten stammen aus dem Intelligence Index von Artificial Analysis. Seit dem 13. August 2026 wiesen die AA-Modellseiten Werte rund zwei Punkte über unserem eingefrorenen Stand vom 5./6. August aus. Offen war, ob AA neu geeicht hat oder schlicht eine andere Aufwandsstufe ausweist – deshalb hatten wir für das am 14. August aufgenommene Qwen3.8-27B bewusst gar keinen Indexwert eingetragen, obwohl er bekannt war. Ein katalogweiter Abruf der offiziellen AA-Schnittstelle am 21. August hat es entschieden: Die Schnittstelle liefert ausgewiesen den Intelligence Index in der Fassung v4.1. Es ist eine Neueichung. Wir haben daraufhin 17 Modelle geschlossen auf v4.1 nachgezogen und Qwen3.8-27B erstmals mit Kennzahlen versehen (Intelligenz 52, Coding 68,1, Agentik 50,9).

Was wir gemessen haben: Am 21. August 2026 haben wir die offizielle Schnittstelle von Artificial Analysis abgerufen und die Kennzahlen und Preise unseres gesamten Modellkatalogs dagegen gehalten – 610 Modelle auf der Gegenseite, 119 Einzelwerte bei uns, davon 87 im Toleranzband bestätigt. Die Schnittstelle weist die verwendete Indexfassung selbst aus: Intelligence Index v4.1. Unser eingefrorener Katalogstand vom 5./6. August stammt aus der Vorgängerfassung. Damit ist die Frage beantwortet, die wir seit dem 14. August offen geführt haben.

Die Neueichung im Einzelnen. Auf der Intelligenz-Achse verschieben sich unter anderem Claude Opus 5 von 61 auf 63,1, Claude Fable 5 von 60 auf 62,1, Claude Sonnet 5 von 53 auf 55,3, GPT-5.6 Sol von 59 auf 60,9, GPT-5.6 Terra von 55 auf 56,6, GPT-5.4 von 51 auf 53,1, Gemini 3.1 Pro von 46 auf 47,7, Gemini 3.5 Flash von 50 auf 52, Grok 4.5 von 54 auf 55,8, Qwen3.8-Max von 56 auf 58,1, Kimi K2.6 von 43 auf 45,1 und GLM 5.2 von 51 auf 52,6. Auf der Agentik-Achse fällt die Verschiebung durchweg größer aus – Opus 5 von 55 auf 59,2, GPT-5.6 Sol von 54 auf 57,8, Fable 5 von 53 auf 56,6. Die Coding-Achse blieb bei allen genannten Modellen im Band; auffällig war sie nur bei Gemma 4 12B (25 auf 31).

⚠️ Der erste Scheinbefund: DeepSeek V4 Pro erschien im Abgleich mit einem verdoppelten Preis – 1,32 statt 0,66 Dollar für eine Million Eingabe-Token, 3,96 statt 1,98 bei der Ausgabe. Das ist keine Preiserhöhung. DeepSeek führt in seiner Preisdokumentation zwei Tarife: Off-Peak und Peak, wobei die Peak-Zeiten mit 01:00 bis 04:00 und 06:00 bis 10:00 UTC angegeben sind. Unser Katalog führt den Off-Peak-Wert, die Schnittstelle den Peak-Wert; beide sind korrekt und beziffern dasselbe Modell. Wir haben den Katalogwert deshalb unverändert gelassen.

⚠️ Der zweite Scheinbefund betrifft dasselbe Modell und geht in die andere Richtung. DeepSeek V4 Pro springt auf der Intelligenz-Achse von 44 auf 53,2, beim Coding von 59 auf 68,8 und bei der Agentik von 36 auf 49,6 – ein Vielfaches der Neueichung, die alle anderen Modelle erfahren. Der Grund steht in der Bezeichnung, unter der die Schnittstelle misst: „DeepSeek V4 Pro 0813“, mit ausgewiesenem Freigabedatum 13. August 2026. Gemessen wird also ein neuerer Checkpoint als der, auf den sich unser Wert bezog. Das ist eine echte Änderung an der Sache, aber eben keine Neueichung – und die beiden Ursachen lassen sich nur trennen, weil die Schnittstelle den Checkpoint mitliefert.

Was der Index misst, und was nicht. Der Anlass, überhaupt nachzusehen, kam aus einer Tier-C-Quelle: In einem Praxisvideo zu Qwen3.8-27B liest der Sprecher die AA-Methodik nach und hält fest, dass unter den einfließenden Einzel-Benchmarks nur einer reines Faktenwissen aus den Modellgewichten abfragt, während die übrigen den Einsatz von Werkzeugen zulassen – Python-Skripte, Terminal, Netzzugriff. Das erklärt, warum ein Modell mit 27 Milliarden Parametern hier vor Modellen landen kann, die um Größenordnungen mehr Wissen gespeichert haben: Gemessen wird Können unter Werkzeugeinsatz, nicht Wissen. Denselben Punkt belegt der Sprecher an sich selbst – ohne Netzanbindung halluziniert das Modell bei einfachen Faktenfragen, mit Werkzeugen schlägt es von sich aus nach. Die von ihm genannte Gewichtung des Wissens-Benchmarks von rund zwölf Prozent haben wir nicht nachgerechnet und übernehmen sie nicht.

⚠️ Was wir nicht behaupten: Wir haben die Benchmarks nicht selbst gefahren, sondern die Werte eines unabhängigen Messdienstes übernommen und dokumentiert, aus welcher Indexfassung sie stammen. Wie AA die Fassung v4.1 gegenüber der Vorgängerin verändert hat – welche Einzel-Benchmarks hinzugekommen, weggefallen oder neu gewichtet sind –, geht aus dem Schnittstellen-Abruf nicht hervor; wir schließen die Neueichung aus dem Verschiebungsmuster über den Katalog, nicht aus einer Änderungsdokumentation. Zwei unserer Kennzahlen, Terminal-Bench und τ²-bench, liefert die Schnittstelle in der von uns genutzten Zugangsstufe nicht; sie bleiben aus dieser Runde unverifiziert. Und Preisabweichungen bei zwei weiteren Modellen im Cent-Bereich haben wir als Rundungsartefakte stehen gelassen, statt sie ohne Anbieter-Gegenprüfung nachzuziehen.