Ausgangspunkt ist Gemma 4 26B-A4B mit rund 3,8 Milliarden aktiven und 25,2 Milliarden Gesamtparametern. Überwachtes Feintuning lernt bidirektionales Entrauschen auf 256-Token-Blöcken. Danach verbinden Sampler-Distillation und Reinforcement Learning Qualitätsziel und kürzere Entrauschung.
Der fertige Sampler arbeitet mit höchstens 48 Entrauschungsschritten und erzeugt einen Block nach etwa zwölf Forward-Pässen. Gegenüber einer stark optimierten autoregressiven Fassung misst der Bericht 1.479 statt 303 Tokens pro Sekunde. Im Diffusionsmodus sinkt die Leistung jedoch in den drei geprüften Fähigkeitsbereichen.
Eine Sudoku-Fallstudie steigt nach LoRA-Anpassung von 0 auf 84,4 Prozent, während die effektiven Schritte von 40,65 auf 10,72 fallen. Die Werte und die Geschwindigkeit sind Messungen des veröffentlichenden Teams. Das Modell kann auch autoregressiv laufen; welcher Modus passt, hängt damit von Aufgabe und Latenzanforderung ab.