Beide Konfigurationen erhielten je vier Versuche pro Aufgabe. Auf pass@1 lag GLM-5.3 bei 69,0 Prozent und Flash bei 63,4 Prozent; auf pass@4 waren es 87,6 beziehungsweise 85,0 Prozent. Der anfängliche Abstand von 5,6 Punkten schrumpfte über vier Versuche auf 2,6 Punkte.
Der Preis pro Lauf lag bei GLM-5.3 bei 3,99 Dollar und bei Flash bei 0,24 Dollar. Daraus errechnet Together AI 17 beziehungsweise 264 gelöste Aufgaben je 100 Dollar. Eine Kaskade, die nur abgelehnte Flash-Ergebnisse an das große Modell weiterleitet, soll 80,9 Prozent bei 1,70 Dollar je Aufgabe erreichen.
Die 63,4 Prozent entsprechen der zuvor nicht unabhängig bestätigten DeepSWE-Angabe in Z.ais Modellkarte. Together AI kam in 448 Flash-Läufen auf denselben Wert; ein früher Einzeltest mit 58,4 Prozent bleibt damit als Streuung erklärbar, nicht automatisch als Fehler.
Together AI betreibt die Inferenz für beide Modelle und verkauft diese Leistung. Die Messung ist daher unabhängig vom Hersteller Z.ai, aber nicht frei von einem eigenen Verkaufsinteresse. Auch die angegebenen Unsicherheiten von plus/minus 2,7 und 4,1 Prozent werden nicht näher definiert.