Nemotron 3 Ultra kombiniert Mamba- und Transformer-Schichten mit Multi-Token-Prediction. Das Modell wurde laut NVIDIA auf rund 10 Billionen Tokens vortrainiert und erhielt weitere 212 Milliarden Tokens. Bei 550 Milliarden Gesamtparametern sind pro Token etwa 55 Milliarden aktiv.
Für die Bereitstellung empfiehlt NVIDIA die NVFP4-Quantisierung; sie ist ein Inferenzformat und kein Trainingsformat. Das Modell war unter anderem über Perplexity, OpenRouter und build.nvidia.com erreichbar. NVIDIA veröffentlicht außerdem Trainingsdaten und Trainingsrezepte neben den Gewichten.
NVIDIA nennt rund 91 Prozent auf PinchBench und eine führende Position unter Open-Weight-Modellen. Im Gesamtvergleich bleibt Anthropics Opus 4.8 laut derselben Darstellung vorn. Die Benchmarks und der bis zu fünffache Durchsatz durch NVFP4 sind nicht unabhängig bestätigt.