Alle Depeschen

DepescheModelle

DeepSeek V4 Pro erreicht 88,5 Prozent bei pass@4

Together AI verglich DeepSeek V4 Pro 0813 mit GPT-5.6 Sol und Claude Fable 5 auf 113 DeepSWE-Aufgaben mit je vier Versuchen. Beim ersten Versuch lagen die westlichen Modelle vorn; über vier Versuche erreichte Pro 88,5 Prozent gegenüber 85,8 und 84,1 Prozent. Ein Lauf kostete 0,24 US-Dollar statt 8,37 beziehungsweise 21,63 US-Dollar.

Jeder Vergleich umfasst 904 Rollouts und 452 gewertete Durchläufe je Modell. Die Aufgaben stammen aus laufenden Open-Source-Repositories und werden über pass@1 sowie pass@4 bewertet. DeepSeek V4 Pro lag beim ersten Versuch bei 62,8 Prozent, GPT-5.6 Sol bei 72,7 und Claude Fable 5 bei 69,7 Prozent.

Über vier Versuche kam Pro auf 88,5 Prozent pass@4. Sol erreichte 85,8 Prozent, Fable 5 84,1 Prozent. Together berechnet 0,24 US-Dollar pro Pro-Durchlauf, 8,37 Dollar für Sol und 21,63 Dollar für Fable 5. Die Preise beziehen sich auf die eingesetzten Endpunkte und sind keine feste Modelleigenschaft.

Eine Kaskade, die mit Pro beginnt und nach einem abgelehnten Test zu einem größeren Modell wechselt, erreichte 83,0 Prozent für 3,35 Dollar je Aufgabe mit Sol. Mit Fable 5 waren es 82,7 Prozent für 8,28 Dollar. Das Ergebnis setzt einen automatischen Test voraus, der den Wechsel auslöst.

Die Messung gilt für lang laufende Feature-Arbeit in bestehenden Repositorys und für den verwendeten Harness. Sie sagt nichts über andere Aufgabentypen aus. Together verkauft einen der gemessenen Endpunkte; eine unabhängige Wiederholung liegt nicht vor.