Die Aufgabe heißt Diarisierung und beantwortet, wer wann gesprochen hat. Zusammen mit einer Spracherkennung entsteht daraus ein Transkript, in dem jede Zeile einem Sprecher zugeordnet ist. Gemessen wird sie als Diarization Error Rate (DER): verpasste Sprache, fälschlich erkannte Sprache und falsch zugeordnete Abschnitte zusammengezählt. Niedriger ist besser.
Auf dem Telefonie-Testsatz CALLHOME-Part2 senkt Nemotron 3 die DER im Offline-Betrieb von 10,32 auf 9,10 Prozent, auf dem elf Domänen umfassenden DIHARD III von 19,09 auf 12,73 Prozent – jeweils gegen Streaming Sortformer 4spk v2.1, beides Zahlen aus Nvidias eigener Modellkarte. Deutlicher fällt der Sprung beim Zählen der Sprecher aus: In CALLHOME trifft das neue Modell die Sprecherzahl in 91,6 statt 84,4 Prozent der Aufnahmen.
Ein einziger Checkpoint deckt Offline- und Live-Betrieb ab. Der Eingabepuffer reicht von 30,4 Sekunden bis hinunter zu 0,32 Sekunden; technisch möglich sind 80 Millisekunden, empfohlen werden sie nicht. Offline verarbeitet das Modell laut Modellkarte das 1.340-Fache der Audiodauer, kompiliert das 4.385-Fache – der Vorgänger kam auf das 874- beziehungsweise 1.468-Fache.
Die Spitzenstellung, mit der Nvidia wirbt, lässt sich derzeit nicht nachprüfen. Im eigenen Blogbeitrag nennt das Unternehmen Rang eins auf der Diarization-Bench von VoiceArena: 14,72 Prozent DER gegen 19,3 Prozent für das zweitplatzierte System, ermittelt an 139 englischen Gesprächen von rund 22 Stunden. Die Bestenliste selbst führt voicearena.com nicht öffentlich; die Zahl steht bislang nur in Nvidias Beitrag.
Offen sind die Gewichte, nicht die Daten: Trainiert wurde auf öffentlichen und zugekauften Sprachdaten, darunter rund 1.000 Stunden mehrsprecher-annotierter Aufnahmen des Datenanbieters David AI. Wie verbreitet die Vorgängerreihe ist, lässt sich dagegen nachzählen – die drei Sortformer-Repositorien von Nvidia kamen am 24. September zusammen auf 254.273 Downloads der vorangegangenen 30 Tage.