Der Aufbau ist derselbe wie in den Vorgängerfolgen: 113 langhorizontige Feature-Aufgaben aus laufenden Open-Source-Repositories, je vier Versuche pro Modell, 904 gewertete Durchläufe insgesamt (452 je Seite), Verifikation über verborgene Testsuiten. Autoren sind Zain Hasan und Shobhit Dixit.
Gegen GPT-5.6 Sol: pass@1 69,0 zu 72,7 Prozent, pass@4 87,6 zu 85,8 Prozent, Kosten je Durchlauf 3,99 gegen 8,37 US-Dollar. Die Kaskade – erst GLM-5.3, bei rotem Test Eskalation auf Sol – kommt auf „85.9% solved at $6.61 per task“.
Gegen Claude Fable 5: pass@1 69,0 zu 69,7 Prozent, pass@4 87,6 zu 84,1 Prozent, Kosten je Durchlauf 3,99 gegen 21,63 US-Dollar, Gesamtkosten 1.806 gegen 9.346 US-Dollar. Die Kaskade erreicht hier 81,1 Prozent zu 10,74 US-Dollar je Aufgabe – also weniger als jede Einzelmessung, ein Fall, in dem sich das Eskalieren nicht auszahlt.
⚠️ Der wichtigste Vorbehalt betrifft einen Zahlenvergleich, der sich aufdrängt und trotzdem falsch wäre: Z.ai hat für GLM-5.3 am 14. August selbst „DeepSWE v1.1 66,9“ genannt. Das ist zwar derselbe Benchmark-Name, aber ein anderer Aufbau – wie schon bei DeepSeek V4 Pro, wo eine Fremdmessung 8 Prozent und die Together-Serie 62,8 Prozent ergab. Die 69,0 Prozent hier bestätigen die Anbieterzahl also nicht; sie ersetzen sie durch eine eigene, innerhalb dieser Serie vergleichbare Messung.
⚠️ Zum Messenden: Together AI ist ein Inferenz-Anbieter, und der Beitrag selbst weist darauf hin, dass GLM-5.3 über Together AI verfügbar ist. Eine ausdrückliche Offenlegung des Interessenkonflikts steht auf gezielte Nachfrage nicht im Text – dieselbe Lücke wie in den Vorgängerfolgen. Eine unabhängige Wiederholung der Läufe liegt nicht vor, und die Kostenangaben hängen an den Listenpreisen der genutzten Endpunkte, nicht an einer Modelleigenschaft.