Alle Depeschen

DepescheModelleneu

Muse Spark 1.2 unabhängig gemessen: Index 54 – der Zugewinn steckt fast vollständig in der Agenten-Arbeit

Zu Metas Muse Spark 1.2 liegt jetzt die unabhängige Messung vor, die bei der Ankündigung am 5. August 2026 noch fehlte: Artificial Analysis führt das Modell mit 54 Punkten im Intelligence Index – drei mehr als Version 1.1 (51) und elf mehr als die im April erschienene 1.0 (43). Damit liegt Meta praktisch gleichauf mit GPT-5.5 (xhigh, 55) und Grok 4.5 (high, 54), aber hinter Claude Opus 5 (61), Claude Fable 5 (60), GPT-5.6 Sol (59) und Kimi K3 (57). Interessanter als die Gesamtzahl ist ihre Verteilung: Der Zugewinn konzentriert sich auf agentische Aufgaben, während die wissenschaftlichen Teilbenchmarks leicht nachgeben.

Die Messung im Einzelnen: Artificial Analysis führt Muse Spark 1.2 mit 54 Punkten im Intelligence Index, nach 51 für Muse Spark 1.1 und 43 für die im April erschienene 1.0. Als praktisch gleichauf nennt die Auswertung GPT-5.5 (xhigh, 55) und Grok 4.5 (high, 54); darüber liegen Claude Opus 5 (61), Claude Fable 5 (60), GPT-5.6 Sol (59) und Kimi K3 (57). Der Sprung von elf Punkten in vier Monaten ist die eigentlich bemerkenswerte Zahl – Meta hat in diesem Zeitraum drei Modelle veröffentlicht.

Aufgeschlüsselt nach Teilbenchmarks fällt der Zugewinn einseitig aus. Agentisch: GDPval-AA v2 steigt von 1.371 auf 1.631 Elo (Rang 5), Terminal-Bench v2.1 von 78 auf 80 Prozent, τ³-Banking von 25 auf 27 Prozent. Wissenschaftlich: CritPt legt von 15 auf 18 Prozent zu, SciCode fällt von 58 auf 56 Prozent, Humanity’s Last Exam von 45 auf 44 Prozent. Beim Halluzinations-Maß AA-Omniscience steigt der Score von 18 auf 22, die Halluzinationsrate sinkt von 38 auf 28 Prozent, die Abstention-Rate von 82 auf 67 Prozent – das Modell antwortet also häufiger und liegt dabei seltener daneben.

Zu den Kosten: Artificial Analysis beziffert 0,40 US-Dollar je Intelligence-Index-Aufgabe bei Metas Listenpreis von 1,25 $ je Million Eingabe- und 4,25 $ je Million Ausgabe-Token (0,15 $ bei Cache-Treffern), Kontextfenster 1 Million Token. Der Token-Verbrauch stieg gegenüber 1.1 deutlich – Eingabe um 53, Ausgabe um 36 Prozent –, der Preisvorteil kommt also nicht aus Sparsamkeit, sondern aus dem Tarif. Der bei der Ankündigung dokumentierte Zweit-Tarif `muse-spark-1.2-contributor` (0,10 $ / 0,20 $) senkt die Rechnung um den Faktor zehn bis zwanzig, verlangt dafür aber die Freigabe der Nutzungsdaten an Meta.

Die Praxis-Gegenprobe kommt von einem ausführlichen Hands-on des Entwicklers Theo Browne, das die Zahlen stützt und zugleich relativiert. Gestützt: der Durchsatz – über OpenRouter im Mittel 191 Token pro Sekunde gegen 30 bis 50 bei GPT-5.6 Sol – und der Preis, ein Audit von 222 offenen Pull Requests in unter fünf Minuten für zehn Cent im Contributor-Tarif. Relativiert: die Verlässlichkeit bei offenen, längeren Aufgaben. Für dieselbe Integrationsaufgabe bewertete GPT-5.6 Sol den Plan von Muse Spark mit 4,8 von 10 gegen 7,0 für Claude Fable 5, die fertige Integration funktionierte nicht, und bei einer Recherche fasste das Modell minutenlang das falsche Produkt ins Auge – „my first investigation mapped it to anti-gravity by mistake. Completely wrong target“. ⚠️ Einzelläufe eines Einzelnen, kein kontrollierter Vergleich, und der Beurteiler war selbst ein Sprachmodell; als Gegengewicht zur verbesserten Halluzinations-Statistik aber notierenswert.

⚠️ Zur Beleglage: Die Indexwerte und Teilbenchmarks stammen sämtlich aus der Auswertung von Artificial Analysis, also aus einer einzigen unabhängigen Messstelle; eine zweite Messung (etwa LMArena) liegt weiterhin nicht vor. Die englischsprachige Rezeption bei BigGo nennt zusätzlich einen Wert aus dem Vals Index (0,69 $ je Test, „roughly one-third the cost of Kimi K3“) und zitiert den Analysten Rihard Jarc mit „truly astonishing“ sowie mit dem Hinweis auf eine geplante, intern „Watermelon“ genannte Version, die „Claude Fable-level performance“ erreichen solle – diese Ankündigung ist unbestätigt und von uns nicht an einer Anbieterquelle belegt.