Inferenz bezeichnet den Betrieb eines fertig trainierten Modells, also das Beantworten von Anfragen. Laut Projektbeschreibung bündelt DeepInfer optimierte Rechenkernel aus früheren DeepSeek-Projekten wie FlashMLA, DeepGEMM und DeepEP, verteilt Aufmerksamkeit und Experten des Modells über viele Chips und beschleunigt die Ausgabe mit vorab geratenen Entwurfs-Token, deren Prüfung nach Konfidenz geplant wird. Auf Wunsch liefert es Ergebnisse, die nicht von der Zusammensetzung eines Stapels abhängen und bei gleicher Eingabe identisch sind – beides nur auf Nvidia-Hardware.
Neben Nvidias SM100-GPUs unterstützt DeepInfer Huaweis Ascend 950; Ende September hatte DeepSeek bereits Kernel-Software für diese Chips freigegeben. Leistungskurven zeigt DeepSeek für vier GPUs beim Prefill, der Verarbeitung der Eingabe, und 64 GPUs beim Decode, der Ausgabe, samt Skript zum Nachmessen. Unabhängige Messungen liegen noch nicht vor.
Zusätzlich erschien deepseek-recipe unter MIT-Lizenz. Die Bibliothek übersetzt Anfragen in den gängigen API-Formaten Chat Completions, Responses und Messages in Prompts für DeepSeek V4 und V4.1 und wandelt die Modellausgabe zurück; das eigentliche Modell muss der Betreiber selbst anbinden.