DepescheModelle9. Juli 2026neu

Databricks-Benchmark: GLM-5.2 zieht beim Coding mit Opus 4.8 gleich – zu zwei Dritteln der Kosten

Databricks hat Coding-Agenten auf echten Pull-Requests aus der eigenen Multi-Millionen-Zeilen-Codebasis (Python, Go, TypeScript, Scala u. a.) getestet – bewusst ohne LLM-Judge und mit versiegelter Git-Historie, damit die Agenten die Lösungen nicht einsehen können. Ergebnis: Das offene chinesische GLM-5.2 liegt bei der Qualität statistisch gleichauf mit Anthropics Opus 4.8, kostet pro Aufgabe aber nur 1,28 statt 1,94 US-Dollar (Opus: 87 % Erfolgsquote). Databricks will GLM-5.2 nun als tägliches Coding-Arbeitsmodell einsetzen und Aufgaben nach Komplexität und Kosten auf Modelle verteilen.

Databricks konstruierte den Benchmark aus jüngeren, von Menschen geschriebenen Pull-Requests mit hochwertigen Test-Suites: Ingenieure lasen jeden PR, um dessen Zweck zu verstehen, und beschrieben daraus das gewünschte Ergebnis als Aufgabe. Bewertet wurde ausdrücklich nicht per LLM-Judge – laut Databricks belohnt der „richtig klingen statt richtig sein“ – sondern gegen die realen Test-Suites; die Git-Historie wurde versiegelt, damit Agenten nicht an die Lösungs-Commits gelangen.

In der obersten Qualitätsstufe lag GLM-5.2 statistisch gleichauf mit Opus 4.8, jedoch bei 1,28 US-Dollar pro Aufgabe gegenüber 1,94 US-Dollar; Opus erreichte 87 % Erfolgsquote. Anthropics Sonnet kostete mit 2,09 US-Dollar je Aufgabe mehr als Opus und schnitt zugleich sechs Punkte schlechter ab (81 % vs. 87 %). Databricks’ Schlussfolgerung: Für Routineaufgaben solle man mehr Arbeit auf günstigere Modellklassen (Haiku, GPT-5.4-mini) verlagern und nicht reflexartig zum teuersten Spitzenmodell greifen.

Einordnung: Das Ergebnis passt zur unabhängigen Artificial-Analysis-Messung, die GLM-5.2 (Coding-Index 69) als stärkstes Open-Weight-Coding-Modell des Katalogs führt – nahe an, aber nicht auf der proprietären Spitze. Neu ist die Provenienz: eine reale Produktions-Codebasis und eine Methodik, die gegen Benchmark-Gaming gehärtet ist. Wir haben die Databricks-Stimme im GLM-5.2-Dossier ergänzt.

// Einordnung der Redaktion

Warum das relevant ist

Das ist eine der seltenen unabhängigen Prüfungen an einer echten, großen Produktions-Codebasis statt an einem öffentlichen Benchmark – und sie kommt von einem Datenplattform-Anbieter ohne Eigeninteresse an einem bestimmten Modell. Sie stützt mit belastbarer Methodik (menschlich definierte Aufgaben, kein LLM-Judge, verriegelte Historie), was bisher vor allem an Eigenbenchmarks und Community-Tests hing: dass frei self-hostbare chinesische Open-Weight-Modelle im agentischen Coding an die proprietäre Spitze heranreichen – bei deutlich niedrigeren Kosten. Für Teams heißt das konkret: Nicht jede Coding-Aufgabe braucht das teuerste Modell; ein kostenbewusstes Routing nach Aufgabenkomplexität kann bei gleicher Qualität sparen. Einordnung: Der Test bildet Databricks’ eigene Codebasis und Aufgabenzuschnitte ab und ist nicht pauschal übertragbar; „statistisch gleichauf“ heißt Parität in einer Qualitätsstufe, nicht Überlegenheit.