Für den Test formulierten Databricks-Ingenieure aus jüngeren Pull-Requests Aufgabenbeschreibungen. Die Agenten sahen die späteren Lösungs-Commits nicht, weil die Git-Historie versiegelt wurde. Ob eine Lösung funktionierte, entschieden die vorhandenen Testsuiten. Dadurch sollte der Vergleich weniger davon abhängen, ob eine Antwort nur plausibel klingt.
Opus 4.8 erreichte 87 Prozent Erfolgsquote. Anthropics Sonnet kam auf 81 Prozent und kostete Databricks 2,09 US-Dollar je Aufgabe; GLM-5.2 kostete 1,28 US-Dollar bei statistischer Gleichheit mit Opus in der höchsten Qualitätsstufe. Databricks will Routineaufgaben künftig stärker nach Komplexität und Kosten verteilen.
Der Test bildet Databricks’ eigene Sprachen, Codebasis und Aufgabenzuschnitte ab. Er ist daher eine aussagekräftige Fallstudie für agentisches Coding, aber kein allgemeines Ranking aller Softwareprojekte. Die ergänzende Artificial-Analysis-Messung mit Coding-Index 69 ordnet GLM-5.2 ebenfalls als starkes Open-Weight-Modell ein; beide Befunde belegen keine Überlegenheit gegenüber jedem proprietären Modell.