Kimi K3 und GPT-5.6 Sol scheitern an verschiedenen Aufgaben – eine Kaskade aus beiden löst mehr als jedes Modell allein
Together AI hat am 26. Juli 2026 die Fortsetzung seiner DeepSWE-Messung veröffentlicht und stellt darin Moonshots Kimi K3 gegen OpenAIs GPT-5.6 Sol: 904 gewertete Durchläufe, 113 langhorizontige Aufgaben mit je vier Versuchen, beide Modelle auf maximaler Anstrengung. Beim ersten Versuch führt Sol mit 72,7 gegen 68,5 Prozent, über vier Versuche dreht sich das Bild zu 89,4 gegen 85,8 Prozent für K3. Interessanter als der Sieger ist die Streuung: Die Aufgaben-Korrelation zwischen beiden Modellen liegt bei nur 0,46 – sie scheitern nicht an denselben Aufgaben. Zusammen decken sie 108 der 113 Aufgaben ab; eine Kaskade, die erst K3 laufen lässt und nur bei rotem Test auf Sol eskaliert, erreicht rund 85,6 Prozent zu 7,30 US-Dollar je gelöster Aufgabe.
✓ Aussagen gegen die Quellen geprüft · 27. Juli 2026
Der Aufbau ist derselbe wie in der Vorwoche, als Together AI Kimi K3 gegen Claude Fable 5 gestellt hatte (siehe verwandte Depesche), nur mit dem anderen Gegner: „We analyzed all 904 graded rollouts (113 tasks, four trials each, at max effort on both sides)“. Die Aufgaben sind Feature-Anfragen aus laufenden Open-Source-Repositories, gewertet wird über pass@1 (löst das Modell die Aufgabe im ersten Anlauf) und pass@4 (in mindestens einem von vier).
Die Werte: „Kimi K3 vs GPT-5.6 Sol is close on DeepSWE pass@1: Sol leads 72.7% to 68.5%, a 4.2 point gap.“ Über vier Versuche kehrt sich die Reihenfolge um – „At four attempts, Kimi’s 89.4% beats Sol’s 85.8% by 3.6 points“. Bei den Kosten bleibt der Abstand groß: 4,65 US-Dollar je Durchlauf für K3 gegen 8,37 für Sol, in Erfolgen gerechnet 14,7 gegen 5,3 gelöste Aufgaben je 100 US-Dollar – „about 2.8x the work per dollar“.
Der eigentliche Befund steht in der Korrelation. Together schreibt: „Kimi K3 and Sol diverge: per-task correlation is 0.46, with four-for-four-versus-zero-for-four corners“ – es gibt also Aufgaben, die das eine Modell viermal von vier löst und das andere kein einziges Mal. Daraus folgt die Portfolio-Rechnung: „Together they cover 108 of 113 tasks (95.6%), the best two-model portfolio on the benchmark.“ Praktisch nutzbar wird das als Kaskade – erst Kimi K3 laufen lassen und „escalate to Sol only when the test suite rejects the result“; diese Anordnung erreicht rund 85,6 Prozent und kostet nach Together-Rechnung 7,30 US-Dollar je gelöster Aufgabe, also weniger als Sol allein.
Grenzen der Messung: Sie deckt einen Aufgabentyp ab – langhorizontige Feature-Arbeit in bestehenden Repositories – und einen Harness; auf Terminal-, Sicherheits- oder Mathematik-Aufgaben lässt sich davon nichts ableiten. Die Kostenangaben hängen am Listenpreis der genutzten Endpunkte, nicht an einer Modell-Eigenschaft, und Together AI verdient an genau dem Endpunkt, dessen Preisvorteil hier ausgewiesen wird. Der Eskalations-Mechanismus setzt zudem einen belastbaren automatischen Abnahmetest voraus – ohne ihn fehlt das Signal, wann überhaupt eskaliert werden müsste. Eine unabhängige Wiederholung der Messung liegt bislang nicht vor.