DiffusionGemma: Google testet Text per Diffusion statt Token für Token
Google hat mit DiffusionGemma ein experimentelles offenes Modell veröffentlicht, das Text nicht mehr Token für Token erzeugt, sondern ganze Blöcke gleichzeitig – per Diffusion. Das Modell (26 Mrd. Parameter, Mixture-of-Experts) soll auf GPUs bis zu 4× schneller schreiben, allerdings bei geringerer Ausgabequalität als das reguläre Gemma 4.
✓ Aussagen gegen die Quellen geprüft · 9. Juli 2026
DiffusionGemma erzeugt Text nicht sequenziell, sondern entwirft – ähnlich wie Bild-Diffusionsmodelle – einen kompletten Absatz (bis zu 256 TokenDie kleinste Verarbeitungseinheit eines Sprachmodells – ein Wortstück, kein ganzes Wort. Faustregel: rund 1.000 Tokens entsprechen grob 750 deutschen Wörtern. Preise und Kontextlängen werden in Tokens gerechnet.Mehr im Wissen →) auf einmal: Es startet mit zufälligen Platzhalter-Token und verfeinert sie in mehreren Durchläufen, bis der Text steht. Autoregressive Modelle hängen dagegen ein Token nach dem anderen an.
Google nennt für GPUs bis zu 4× höheres Tempo: über 1000 Token pro Sekunde auf einer einzelnen NVIDIA H100, über 700 Token pro Sekunde auf einer NVIDIA GeForce RTX 5090. Der Vorteil greift vor allem bei lokaler Nutzung mit wenigen gleichzeitigen Anfragen; in Cloud-Szenarien mit hoher Last fällt er laut Google geringer aus.
Das Modell baut auf der Gemma-4-Familie auf und steht unter Apache-2.0-Lizenz mit herunterladbaren Gewichten auf Hugging Face bereit. Google kennzeichnet es ausdrücklich als experimentell: Die Ausgabequalität liege unter der des regulären Gemma 4 – für maximale Qualität empfiehlt das Unternehmen weiterhin das Standardmodell.
Ergänzung: Ein Developer Guide nennt weitere Details. DiffusionGemma ist ein MoE (Mixture of Experts)Architektur, bei der je Anfrage nur ein Teil des Modells („Experten“) aktiv wird. So hat das Modell sehr viele Gesamt-Parameter, rechnet aber nur mit wenigen aktiven – das spart Rechenzeit.Mehr im Wissen →-Modell mit 26 Mrd. ParameterDie im Training gelernten „Stellschrauben“ eines Modells (gezählt in Milliarden). Mehr Parameter heißt grob mehr Kapazität, aber auch mehr Rechen- und Speicherbedarf – und sagt allein wenig über die Qualität.Mehr im Wissen →, von denen je InferenzDer laufende Betrieb eines fertig trainierten Modells – das Erzeugen von Antworten auf Anfragen. Anders als das einmalige Training fällt Inferenz bei jeder Nutzung an.Mehr im Wissen →schritt nur rund 3,8 Mrd. aktiv sind; es passt damit in 18 GB VRAM. Dank bidirektionaler Aufmerksamkeit liest das Modell ganze Blöcke gleichzeitig und kann frühere Fehler nachträglich korrigieren, indem es einzelne Token erneut „verrauscht“ und ersetzt – etwas, das autoregressive Modelle so nicht können.