Nvidia Nemotron 3.5 Transcribe: ein einziges offenes Spracherkennungsmodell

Nvidia hat am 28. Oktober 2026 Nemotron 3.5 Transcribe veröffentlicht, ein Spracherkennungsmodell mit offenen Gewichten, das vier Aufgaben in einem erledigt. Es transkribiert Audio, kennzeichnet, wer spricht, übersetzt und beantwortet Fragen zu einer Aufnahme. Entwickler steuern es mit Prompts in natürlicher Sprache. Das könnte eine Pipeline aus drei oder vier separaten Sprachwerkzeugen durch einen einzigen Download ersetzen.

Nvidia veröffentlichte außerdem Granary v2, den Datensatz, mit dem das Modell trainiert wurde, sowie die Werkzeuge, mit denen er erstellt wurde.

Was das Modell kann

Laut Nvidias Ankündigung im Hugging-Face-Blog übernimmt ein einziger Checkpoint Transkription, Sprecherkennzeichnung, Übersetzung sowie Fragen und Antworten zu Audio. Sprecherkennzeichnung, oft Diarisierung genannt, bedeutet, jede Zeile mit der Person zu markieren, die sie gesagt hat.

Fähigkeit	Abdeckung laut Nvidia
Transkription	40 Sprachen
Übersetzung	31 Sprachen, ins oder aus dem Englischen
Sprecherzuordnung	13 Sprachen, bis zu 8 Sprecher
Aufnahmelänge	Bis zu 1 Stunde
Kontextfenster	64k Tokens

Prompts verändern den Ausgabestil. In Nvidias Beispiel werden gesprochene Wörter wie „fünfundzwanzig Euro“ zu „€25“, wenn die Schriftform verlangt wird.

Es gibt eine klare Einschränkung. „Transcribe ist für aufgezeichnetes Audio gebaut, nicht für Live-Streaming“, heißt es im Blog. Quantisierte und lokale Versionen, die auf kleinerer Hardware laufen würden, sollen erst noch folgen.

Wie es aufgebaut ist

Das Modell ist ein Mixture of Experts (MoE). In einem MoE-Modell laufen für jedes Stück Eingabe nur wenige Teile des Netzwerks, was es schnell hält. Es kombiniert Mamba-Schichten, eine neuere Bauweise, die lange Sequenzen günstig verarbeitet, mit klassischen Transformer-Schichten.

Der Blog nennt 30 Milliarden Parameter insgesamt, davon etwa 4 Milliarden aktiv pro Token. Die Modellkarte zählt auch den Audio-Encoder mit. Sie nennt 34 Milliarden insgesamt und etwa 4,3 Milliarden aktive Parameter, einschließlich eines Audio-Encoders mit etwa 800 Millionen Parametern.

Die Lizenz ist OpenMDW-1.1. Laut der Karte ist das Modell „bereit für die kommerzielle oder nicht kommerzielle Nutzung“. Nvidia nutzte dieselbe Lizenzfamilie Anfang dieses Monats für Nemotron 3.5 Super VL, sein offenes Vision-Modell mit 120B.

Wie es abschneidet

Die meisten Benchmark-Zahlen stammen von Nvidia selbst. Ein unabhängiges Ranking stützt die Hauptaussage.

Artificial Analysis, das Sprachmodelle verschiedener Anbieter testet, setzt Nemotron 3.5 Transcribe unter den Open-Weight-Modellen auf Platz zwei. Seine AA-WER liegt bei 2,8 %. WER steht für Word Error Rate, also den Anteil der Wörter, die ein Modell falsch erkennt, daher ist ein niedrigerer Wert besser. Dieselbe Seite nennt in ihrer Haupttabelle eine WER von 3,4 %, ohne den Unterschied zu erklären. Sie gibt den Preis des Modells beim Anbieter DeepInfra mit 2,00 Dollar pro 1.000 Minuten an.

Zu Nvidias eigenen Zahlen gehören diese:

• Mehrsprachig: eine mittlere WER von 4,62 % über sieben Sprachen in den Open ASR Tests von Hugging Face.
• Lange Aufnahmen: eine mittlere WER von 10,98 % bei langen Audiodateien.
• Gespräche: 1,8 % WER bei AA-AgentTalk, gegenüber 2,3 % beim nächstbesten offenen Modell.
• Geschwindigkeit: 100 Stunden Audio in unter drei Minuten auf einer einzigen RTX PRO 6000 Blackwell GPU, mit einer kommenden NVFP4-Version.

Diese Geschwindigkeitsangabe ist mit Vorsicht zu genießen. Laut der Modellkarte sind diese Serving-Optimierungen noch nicht in der Open-Source-Version enthalten. Sie erwartet, dass das offene Setup mit NeMo und vLLM etwa doppelt so langsam läuft.

Granary v2 und eigenes Feintuning

Granary v2 umfasst 463.062 Stunden Audio in 48 Sprachen aus 16 Quellkorpora. Das erste Granary deckte 25 Sprachen ab. Nvidia stellt außerdem die Pipeline NeMo Curator bereit, die es genutzt hat, damit Teams dieselbe Bereinigung auf ihre eigenen Aufnahmen anwenden können. Das Audio selbst muss separat unter der ursprünglichen Lizenz des jeweiligen Korpus heruntergeladen werden.

Nvidia testete Feintuning für medizinische Sprache mit Daten von Eka Care. Die Fehlerraten bei zurückgehaltenen Sprechern sanken von 22,44 % auf 12,17 %. Allgemeines Englisch wurde etwas schlechter: Die WER auf LibriSpeech test-clean stieg von 1,54 % auf 1,69 %. Nvidia empfiehlt mindestens 100 gelabelte Clips für ein eigenes Tuning.

Was das für Entwickler bedeutet

Ein offenes Modell, das in einem Durchgang transkribiert, Sprecher kennzeichnet und übersetzt, verändert die Rechnung zwischen Selbstbauen und Zukaufen bei Sprachfunktionen.

• Testen Sie es gegen Ihren aktuellen Stack. Wenn Sie ein Transkriptionsmodell mit einem separaten Diarisierungstool verketten, kann ein einziges Modell Latenz und Verbindungscode einsparen. Vergleichen Sie mit Ihrem eigenen Audio, nicht nur anhand von Ranglisten.
• Halten Sie es von Live-Audio fern. Nvidia sagt, es sei für Aufnahmen gebaut. Besprechungsnotizen, Podcasts und Anrufarchive passen, Live-Untertitel noch nicht.
• Planen Sie die Hardware. Mit etwa 4 Milliarden aktiven Parametern ist es günstiger im Betrieb, als seine Größe vermuten lässt, aber die vollständigen Gewichte brauchen weiterhin eine Rechenzentrums-GPU, bis kleinere Versionen erscheinen.
• Feintunen Sie für Fachjargon. Der medizinische Test zeigt große Gewinne durch einen kleinen, fokussierten Datensatz. Rechts-, Medizin- und Support-Teams mit eigenem Vokabular sollten ein Tuning einplanen und danach die allgemeine Genauigkeit prüfen.
• Prüfen Sie die Ausgabe. Nvidias eigener Rat lautet, „Namen, Sprecherwechsel und Antworten stichprobenartig mit der Aufnahme abzugleichen“. Bauen Sie einen Prüfschritt in jeden Workflow ein, in dem ein falscher Name oder Sprecher ins Gewicht fällt.

Der eigentliche Test ist, ob Entwickler einem einzigen Modell vier Aufgaben anvertrauen. Offene Gewichte lassen sie das mit ihren eigenen Daten herausfinden, was mehr ist, als jede Rangliste zeigen kann.