Werkzeug · Sprecher-Diarisierung

Nemotron 3 Diarization

von NVIDIA

Offenes Modell mit 100 Millionen Parametern, das in Aufnahmen und im laufenden Ton bis zu acht Sprecher auseinanderhält – Nachfolger von Sortformer, der bei vier Sprechern endete, unter einer Lizenz, die kommerzielle Nutzung ausdrücklich erlaubt.

Open SourceOpen Weights (OpenMDW 1.1)Hugging FaceNVIDIA NeMoNeMo-Speech.cpp (lokal)

Einschätzung

Offener Vierfach-Nachfolger mit doppelter Sprecherzahl

Der praktisch interessante Sprung ist nicht die Fehlerrate, sondern die Sprecherzahl: Vier Stimmen reichen für ein Telefonat, nicht für eine Besprechung. Dass ein 100-Mio.-Parameter-Modell das auf einer kleinen GPU und unter einer kommerziell nutzbaren Lizenz schafft, verschiebt die Diarisierung von der Cloud-Schnittstelle zurück auf eigene Hardware. Die Bestenlisten-Behauptung würden wir separat prüfen, sobald VoiceArena die Tabelle veröffentlicht.

Diarisierung beantwortet die Frage, wer wann gesprochen hat – die Ergänzung zur Spracherkennung, die nur den Wortlaut liefert. Erst beides zusammen ergibt ein Transkript, in dem jede Zeile einem Sprecher zugeordnet ist. Nemotron 3 Diarization gibt dafür je 10-Millisekunden-Bild eine Aktivitätswahrscheinlichkeit für bis zu acht Kanäle aus; die Zuordnung folgt der Reihenfolge des ersten Auftretens, überlappende Rede eingeschlossen.

Die Zahlen der Modellkarte. 100 Mio. Parameter, 31-lagiger Transformer-Encoder mit Rotary Positional Embeddings, Eingang 16-kHz-Mono. Ein einziger Checkpoint deckt beide Betriebsarten ab: Der Eingabepuffer reicht von 30,4 Sekunden (offline) bis 0,32 Sekunden (empfohlenes Minimum), technisch gehen 80 Millisekunden. Mit Chunk-Verarbeitung ist die Aufnahmedauer unbegrenzt.

Gegen den Vorgänger Streaming Sortformer 4spk v2.1 misst NVIDIA auf CALLHOME-Part2 eine Diarization Error Rate von 9,10 statt 10,32 Prozent und auf DIHARD III 12,73 statt 19,09 Prozent (offline). Stärker fällt das Sprecherzählen aus: 91,6 statt 84,4 Prozent korrekt getroffene Sprecherzahl in CALLHOME. Auch der Durchsatz steigt – offline das 1.340-Fache der Audiodauer statt des 874-Fachen, kompiliert das 4.385-Fache statt des 1.468-Fachen.

⚠️ Die beworbene Spitzenstellung ist nicht nachprüfbar. NVIDIA nennt im eigenen Blogbeitrag Rang eins auf der Diarization-Bench von VoiceArena (14,72 % DER gegen 19,3 % des Zweitplatzierten, 139 englische Gespräche, rund 22 Stunden). VoiceArena existiert als Betreiber, liefert diese Bestenliste aber nicht öffentlich aus – die Zahl steht bislang nur in NVIDIAs Text. Alle übrigen Werte oben sind ebenfalls Anbietermessungen, allerdings mit offengelegten Testsätzen und Skript.

Wofür es gut ist

Besprechungs- und Interview-Mitschnitte sprechergenau transkribieren
Live-Untertitel und Sprachagenten, die mehrere Gesprächspartner unterscheiden müssen
Podcast- und Videokorpora lokal auswerten, ohne Ton an eine Cloud zu geben
vorhandene Spracherkennung ergänzen – das Modell ist vom ASR-Modell unabhängig

Stärken

Bis zu acht Sprecher statt vier beim Vorgänger, überlappende Rede eingeschlossen
Ein Checkpoint für Offline- und Live-Betrieb; Eingabepuffer frei zwischen 30,4 s und 0,32 s wählbar
100 Mio. Parameter – läuft nach Anbieterangabe auf GPUs mit wenigen Gigabyte Speicher
OpenMDW 1.1: die Modellkarte weist das Modell ausdrücklich als kommerziell nutzbar aus
Vom Spracherkennungsmodell unabhängig – kombinierbar mit Whisper, Parakeet oder Canary

Schwächen

⚠️ Die DER- und Durchsatzwerte sind Anbietermessungen; eine unabhängige Nachmessung liegt nicht vor
⚠️ Der Anspruch „Rang eins auf VoiceArena Diarization-Bench“ lässt sich an der Bestenliste selbst nicht nachvollziehen
Die Ausgabe nennt nur Sprecher 1 bis 8, keine Namen – die Zuordnung zu Personen muss die eigene Anwendung leisten
Bei 0,32 s Puffer steigt die DER spürbar (CALLHOME 11,32 statt 9,10 Prozent): Echtzeit kostet Genauigkeit
Teile der Trainingsdaten sind zugekaufte Lizenzbestände (David AI) und damit nicht überprüfbar

Direkt ausprobieren

huggingface.co/nvidia/Nemotron-3-Diarization

Zur offiziellen Seite ↗

Wofür es gut ist

Stärken

Schwächen

Verwandte Werkzeuge