Dritt-Messung auf DeepSWE: Kimi K3 praktisch gleichauf mit Claude Fable 5 – zu einem Drittel der Kosten

Die Auswertung stammt von Zain Hasan und Shobhit Dixit und beschreibt ihren Aufbau selbst so: „452 graded rollouts at max effort: 113 real, long-horizon feature requests from live open-source repos, four trials each“. Gemessen wird also nicht an einem kuratierten Aufgaben-Set, sondern an Feature-Anfragen aus laufenden Projekten, jede viermal durchgespielt – daher die Doppelmetrik aus pass@1 (löst das Modell die Aufgabe im ersten Anlauf?) und pass@4 (löst es sie in mindestens einem von vier Anläufen?).

Die Werte liegen dicht beieinander: pass@1 68,5 Prozent für Kimi K3 gegenüber 69,9 Prozent für Claude Fable 5 – 1,4 Punkte Vorsprung für das proprietäre Modell. Bei pass@4 kehrt sich die Reihenfolge um, 89,4 gegenüber 88,5 Prozent. Deutlich wird der Abstand erst bei den Kosten: Together beziffert 4,65 US-Dollar je Durchlauf für K3 und 13,41 US-Dollar für Fable 5 und rechnet daraus „2.8x the work per dollar“ zugunsten von Kimi K3.

Was die Messung nicht sagt: Sie deckt einen Aufgabentyp ab – langhorizontige Feature-Arbeit in bestehenden Repositories – und einen Harness. Ergebnisse auf Terminal-, Sicherheits- oder Mathematik-Aufgaben lassen sich daraus nicht ableiten; die staatliche Cyber-Bewertung derselben Woche sieht K3 etwa klar hinter der US-Spitze (siehe verwandte Depesche), und in Epoch AIs FrontierMath bleibt es deutlich zurück. Auch der Preisvorteil ist kein Naturgesetz: Moonshot hatte die K3-Preise gegenüber dem Vorgänger K2.6 bereits verdreifacht, und Together AI verdient an genau den Endpunkten, deren Kostenvorteil hier ausgewiesen wird.