DepescheForschung9. August 2026neu

DiffusionGemma: Der technische Bericht rechnet vor, wie aus einem autoregressiven Gemma 4 für unter zehn Prozent des Token-Budgets ein Diffusionsmodell wird

Das DiffusionGemma-Team hat am 31. Juli 2026 den technischen Bericht zum Modell auf arXiv eingestellt (2608.00146, 43 Autorinnen und Autoren); die deutschsprachige Rezeption zog am 9. August nach. Der Bericht beantwortet, was der Modellstart im Juni offenließ: wie das Modell entstanden ist. Statt von Grund auf zu trainieren, wird ein bestehendes autoregressives Gemma 4 (3,8 Mrd. aktive, 25,2 Mrd. Gesamt-Parameter) in zwei Stufen zum Diffusionsmodell umgebaut – mit „fewer than 10% of the starting AR model’s total training token budget“. Die zweite Stufe verbindet Reinforcement Learning mit Sampler-Distillation und vervierfacht die Tokens je Forward-Pass von 5 auf knapp 20; das Endmodell erreicht rund 1.500 Ausgabe-Tokens pro Sekunde auf einer einzelnen NVIDIA H100. Der Preis steht ebenfalls im Bericht: Im Diffusions-Modus sinkt die Genauigkeit gegenüber der autoregressiven Ausgangsfassung über alle drei geprüften Fähigkeitsbereiche.

Aussagen gegen die Quellen geprüft · 9. August 2026

Das Verfahren in zwei Stufen: Initialisiert wird aus den Gewichten des -Modells Gemma 4 26B-A4B (laut Modellkarte 8 aktive von 128 Experten plus einem geteilten; der Name rundet die 25,2 Mrd. Gesamt-Parameter auf). Stufe eins ist ein überwachtes Feintuning, das dem Modell bidirektionales Entrauschen über „256-token canvases“ beibringt – es lernt, einen 256er-Block gemeinsam zu betrachten statt strikt von links nach rechts. Stufe zwei ist eine Online-Phase aus Sampler-Distillation und Reinforcement Learning, die laut Bericht „jointly maximizes reward-driven generation quality and compresses the denoising steps to unlock ultra-low latency“. Zur Laufzeit arbeitet der Sampler mit „Entropy-Bounded Denoising and Adaptive Stopping“ und höchstens 48 Entrauschungsschritten; einen 256-Token-Block gibt das Modell nach rund zwölf Forward-Pässen aus.

Was die zweite Stufe konkret bringt, beziffert der Bericht getrennt. Auf der Qualitätsachse „yields a 10-point improvement on the combined GPQA-Diamond and LiveCodeBench-v6 score“ gegenüber dem Checkpoint nach Stufe eins. Auf der Effizienzachse „it quadruples the TPF from 5 to nearly 20“ – Tokens je Forward-Pass. Zum Vergleich nennt der Bericht die etablierte Beschleunigungstechnik: mit einer Entwurfslänge von 8 liefert 3 bis 6 Tokens je Forward-Pass. Ein Nebeneffekt der Trainingsstufe ist ausdrücklich unbeabsichtigt und willkommen zugleich: Das Endmodell schreibt „nearly 2× shorter than the SFT checkpoint“ – anders als beim RL für autoregressive Modelle, das Belohnung oft über längere Gedankenspuren einsammelt.

Tempo und Preis stehen im selben Absatz. Gegenüber der autoregressiven Ausgangsfassung unter stark optimiertem Serving mit misst das Team 1.479 gegen 303 Ausgabe-Tokens pro Sekunde – knapp das Fünffache. Zugleich schreibt der Bericht: „Relative to the AR model used for initialization, DiffusionGemma in text-diffusion (TD) mode trades some absolute benchmark performance for substantially greater decoding speed“ und hält fest, dass die Umstellung die Leistung „across the three capability areas“ senkt – gemessen wird in den Gruppen Reasoning/Wissen, Coding sowie Instruktionsbefolgung und agentisches Verhalten. Im normalen links-nach-rechts-Modus holt dasselbe Modell einen Teil des Abstands zurück, bei geringerem Durchsatz; daraus leitet der Bericht die Idee ab, Anfragen je nach Latenz-Anforderung und Aufgabenkomplexität dynamisch auf einen der beiden Modi zu leiten. Im Mittel über die vollständige Evaluationssuite nennt das Team rund 1.500 Tokens pro Sekunde auf einer einzelnen H100 und verweist auf frühe Messungen eines Drittanbieters (Unsloth) mit bis zu 2.000 Tokens pro Sekunde auf einer NVIDIA RTX 6000 – diese Fremdmessung haben wir nicht selbst geprüft.

Eine Fallstudie zeigt, wofür der Ansatz taugt: Sudoku. Ungeübt löst DiffusionGemma kein einziges Rätsel korrekt (0,00 Prozent bei 40,65 effektiven Entrauschungsschritten). Nach einer LoRA-Anpassung mit Rang 8 sind es 84,40 Prozent – bei nur noch 10,72 Schritten, weil das Modell sich seiner Sache sicherer ist; mit vollständigem Feintuning nennt der Bericht über 85 Prozent. Trainiert wurde die LoRA-Variante auf zwei A100 mit 80 GB. Passend dazu veröffentlicht das Team ein quelloffenes Feintuning-Werkzeug auf Basis von HackableDiffusion samt LoRA-Rezepten „to enable finetuning on consumer hardware“. Die Aufgabe ist bewusst gewählt: Ein Sudoku hat keine natürliche Schreibrichtung – genau dort spielt ein Modell, das einen ganzen Block gleichzeitig überarbeitet, seinen Vorteil gegenüber der strikten Links-nach-rechts-Erzeugung aus.

Zur Einordnung der Zahlen und zur Rezeption: Zwei Angaben der deutschsprachigen Berichterstattung sind ungenauer als der Bericht selbst. Die 10 Punkte sind kein Durchschnitt über Reasoning-Benchmarks, sondern der kombinierte Wert aus GPQA-Diamond und LiveCodeBench-v6; und die halbierte Antwortlänge misst sich am Zwischenstand nach Stufe eins, nicht am autoregressiven Ausgangsmodell. Ebenfalls auseinander gehen die Tempoangaben je nach Messbedingung: Die Modellkarte auf Hugging Face nennt weiterhin „per user generation speeds exceeding 1100 tokens per second“ (H100, FP8, kleine Batchgröße), der Bericht rund 1.500 im Mittel über seine Evaluationssuite. Beides ist eine Messung des Anbieters unter jeweils eigenen Bedingungen; unabhängig nachgemessen hat unseres Wissens niemand. Der Wissensstichtag der Trainingsdaten liegt laut Modellkarte im Januar 2025.

// Einordnung der Redaktion

Warum das relevant ist

Die interessante Zahl ist nicht das Tempo, sondern das Budget. Text-Diffusion galt als teurer Sonderweg, weil ein Diffusionsmodell bislang von vorn trainiert werden musste; dieser Bericht beschreibt sie als Nachbearbeitung eines fertigen autoregressiven Modells für weniger als ein Zehntel von dessen Trainings-Token-Budget. Damit wird der Ansatz für jeden interessant, der bereits ein trainiertes Modell besitzt – die Umstellung ist eine Feinabstimmung, keine zweite Grundausbildung. Zwei Details heben den Bericht über eine Tempo-Meldung hinaus: Erstens fällt die Beschleunigung nicht vom Himmel, sondern kommt messbar aus der zweiten Trainingsstufe, in der Qualität und Sampler-Effizienz gemeinsam optimiert werden – ohne sie liegt das Modell bei 5 Tokens je Forward-Pass, also im Bereich dessen, was gutes [[Speculative Decoding|speculative-decoding]] auch schafft. Zweitens benennt der Bericht den Qualitätsverlust selbst und zeigt, dass dasselbe Modell weiterhin autoregressiv dekodieren kann und dabei einen Teil des Abstands zurückholt – womit die Entscheidung zwischen schnell und genau in die Anfrage wandert statt in die Modellauswahl. Zur Beleglage: Sämtliche Messwerte stammen vom veröffentlichenden Team, eine unabhängige Reproduktion liegt uns nicht vor. Die offenen Gewichte unter Apache 2.0 machen eine Nachmessung aber möglich – anders als bei geschlossenen Diffusions-Konkurrenten, gegen die der Bericht antritt.