Nvidia Nemotron 3.5 Transcribe : un seul modèle vocal ouvert

Nvidia a publié Nemotron 3.5 Transcribe le 28 octobre 2026, un modèle vocal à poids ouverts qui réunit quatre tâches en une. Il transcrit l'audio, indique qui parle, traduit et répond à des questions sur un enregistrement. Les développeurs le pilotent avec des prompts en langage courant. Cela pourrait remplacer une chaîne de trois ou quatre outils vocaux distincts par un seul téléchargement.

Nvidia a aussi publié Granary v2, le jeu de données sur lequel le modèle a été entraîné, ainsi que les outils utilisés pour le construire.

Ce que fait le modèle

Selon l'annonce de Nvidia sur le blog de Hugging Face, un seul checkpoint gère la transcription, l'identification des locuteurs, la traduction et les questions-réponses sur l'audio. L'identification des locuteurs, souvent appelée diarisation, consiste à indiquer pour chaque ligne qui l'a prononcée.

Fonction	Couverture, selon Nvidia
Transcription	40 langues
Traduction	31 langues, vers ou depuis l'anglais
Attribution des locuteurs	13 langues, jusqu'à 8 locuteurs
Durée d'enregistrement	Jusqu'à 1 heure
Fenêtre de contexte	64k tokens

Les prompts changent le style de sortie. Dans l'exemple de Nvidia, des mots prononcés comme « vingt-cinq euros » deviennent « €25 » quand on demande la forme écrite.

Il y a une limite claire. « Transcribe est conçu pour l'audio enregistré, pas pour le streaming en direct », indique le blog. Des versions quantifiées et locales, qui tourneraient sur du matériel plus modeste, sont encore à venir.

Comment il est construit

Le modèle est un mélange d'experts (MoE). Dans un modèle MoE, seules quelques parties du réseau s'activent pour chaque morceau d'entrée, ce qui le garde rapide. Il combine des couches Mamba, une architecture plus récente qui traite les longues séquences à moindre coût, avec des couches Transformer classiques.

Le blog indique 30 milliards de paramètres au total, dont environ 4 milliards actifs par token. La fiche du modèle compte aussi l'encodeur audio. Elle indique 34 milliards au total et environ 4,3 milliards actifs, dont un encodeur audio d'environ 800 millions de paramètres.

La licence est OpenMDW-1.1. La fiche précise que le modèle « est prêt pour un usage commercial ou non commercial ». Nvidia a utilisé la même famille de licences plus tôt ce mois-ci pour Nemotron 3.5 Super VL, son modèle de vision ouvert de 120B.

Ses résultats

La plupart des chiffres de benchmark viennent de Nvidia lui-même. Un classement indépendant confirme l'affirmation principale.

Artificial Analysis, qui teste les modèles vocaux de différents fournisseurs, classe Nemotron 3.5 Transcribe deuxième parmi les modèles à poids ouverts. Son AA-WER est de 2,8 %. Le WER est le taux d'erreur sur les mots (word error rate), c'est-à-dire la part des mots qu'un modèle transcrit mal, donc plus il est bas, mieux c'est. La même page affiche un WER de 3,4 % dans son tableau principal, sans expliquer l'écart. Elle indique un prix de 2,00 $ pour 1 000 minutes via le fournisseur DeepInfra.

Les chiffres de Nvidia incluent notamment ceux-ci :

• Multilingue : un WER moyen de 4,62 % sur sept langues dans les tests Open ASR de Hugging Face.
• Enregistrements longs : un WER moyen de 10,98 % sur l'audio long format.
• Conversations : 1,8 % de WER sur AA-AgentTalk, contre 2,3 % pour le meilleur modèle ouvert suivant.
• Vitesse : 100 heures d'audio en moins de trois minutes sur un seul GPU RTX PRO 6000 Blackwell, avec une future version NVFP4.

Ce chiffre de vitesse demande de la prudence. La fiche du modèle indique que ces optimisations de service ne sont pas encore dans la version open source. Elle prévoit que la configuration ouverte avec NeMo et vLLM tourne environ deux fois plus lentement.

Granary v2 et réglage sur mesure

Granary v2 rassemble 463 062 heures d'audio en 48 langues, issues de 16 corpus sources. Le premier Granary couvrait 25 langues. Nvidia partage aussi le pipeline NeMo Curator qu'il a utilisé, afin que les équipes puissent appliquer le même nettoyage à leurs propres enregistrements. L'audio lui-même doit être téléchargé séparément, sous la licence d'origine de chaque corpus.

Nvidia a testé le fine-tuning sur la parole médicale avec des données d'Eka Care. Les taux d'erreur sur des locuteurs tenus à l'écart de l'entraînement sont passés de 22,44 % à 12,17 %. L'anglais général s'est légèrement dégradé : le WER sur LibriSpeech test-clean est passé de 1,54 % à 1,69 %. Nvidia recommande au moins 100 clips annotés pour un réglage sur mesure.

Ce que cela change pour les développeurs

Un modèle ouvert qui transcrit, identifie les locuteurs et traduit en une seule passe change le calcul entre développer soi-même et acheter pour les fonctions vocales.

• Testez-le face à votre stack actuelle. Si vous enchaînez un modèle de transcription et un outil de diarisation séparé, un seul modèle peut réduire la latence et le code de liaison. Comparez sur votre propre audio, pas seulement sur les classements.
• Tenez-le à l'écart de l'audio en direct. Nvidia dit qu'il est conçu pour les enregistrements. Notes de réunion, podcasts et archives d'appels conviennent ; les sous-titres en direct, pas encore.
• Prévoyez le matériel. Avec environ 4 milliards de paramètres actifs, il coûte moins cher à faire tourner que sa taille ne le laisse penser, mais les poids complets exigent toujours un GPU de centre de données tant que des versions plus légères ne sont pas sorties.
• Affinez-le pour le jargon. Le test médical montre de gros gains avec un petit jeu de données ciblé. Les équipes juridiques, médicales et de support qui ont leur propre vocabulaire devraient prévoir un réglage, puis vérifier la précision générale.
• Vérifiez la sortie. Nvidia conseille lui-même de « vérifier par sondage les noms, les changements de locuteur et les réponses par rapport à l'enregistrement ». Ajoutez une étape de relecture à tout flux de travail où un mauvais nom ou un mauvais locuteur a des conséquences.

Le vrai test est de savoir si les développeurs confieront quatre tâches à un seul modèle. Les poids ouverts leur permettent de le vérifier sur leurs propres données, ce qui en dit plus que n'importe quel classement.