Der Kontextspeicher, im Fachjargon KV-Cache, hält fest, was ein Modell im laufenden Gespräch schon gelesen hat. Er wächst mit der Eingabelänge und muss im schnellen Grafikspeicher liegen. Bei agentischen Abläufen mit sehr langen Eingaben wird er zum Engpass: Er belegt Speicher und Bandbreite, die sonst für weitere gleichzeitige Anfragen zur Verfügung stünden.
DeepSeek kombiniert dafür zwei Verfahren. „Compressed Sparse Attention 2“ lässt aufeinanderfolgende Schichten denselben Zwischenspeicher und dieselben Auswahlindizes mitbenutzen, statt ihn je Schicht neu anzulegen. Dazu kommt eine Speicherung in FP4, also mit vier Bit je Wert. Zusammen ergibt das 890 Byte je Token. Ein zweites Verfahren senkt den dauerhaft auf SSD oder im Arbeitsspeicher gehaltenen Teil auf rund ein Achtel des Vorgängers.
Die Arbeit nennt außerdem 552 Milliarden Parameter im Rumpf, eine Million Token Kontext und die getrennte Aktivierung im Encoder-Decoder-Aufbau: 8 Milliarden Parameter je Token beim Einlesen, 16 Milliarden beim Erzeugen. Trainiert wurde auf 45 Billionen Token aus Text und Bild. Das Basismodell erreiche die Fähigkeiten von V4 Pro bei einem Drittel der Gesamtparameter und einem Viertel der aktiven; auf zurückgehaltenen Prüfungen lägen es 5 bis 10 Prozent darüber.
Alle Leistungsangaben stammen aus DeepSeeks eigener Messung und sind entsprechend zu gewichten. Nachprüfbar ist die Architektur: Die Modellgewichte liegen offen, und die unabhängige Messung von Artificial Analysis vom 11. September ordnete V4.1 Flash bereits vor V4 Pro ein. Was die Arbeit nicht beantwortet, ist der Token-Verbrauch im Betrieb – ein Punkt, an dem Praxisberichte das Modell als redselig beschreiben.