Nvidia Nemotron 3.5 Transcribe: un solo modelo de voz abierto

Nvidia lanzó Nemotron 3.5 Transcribe el 28 de octubre de 2026, un modelo de voz de pesos abiertos que hace cuatro trabajos en uno. Transcribe audio, indica quién habla, traduce y responde preguntas sobre una grabación. Los desarrolladores lo dirigen con instrucciones en lenguaje natural. Eso podría sustituir una cadena de tres o cuatro herramientas de voz independientes por una sola descarga.

Nvidia también publicó Granary v2, el conjunto de datos con el que se entrenó, y las herramientas que usó para crearlo.

Qué hace el modelo

Según el anuncio de Nvidia en el blog de Hugging Face, un solo checkpoint se encarga de la transcripción, la identificación de hablantes, la traducción y las preguntas y respuestas sobre audio. La identificación de hablantes, a menudo llamada diarización, consiste en etiquetar cada línea con quién la dijo.

Capacidad	Cobertura, según Nvidia
Transcripción	40 idiomas
Traducción	31 idiomas, hacia o desde el inglés
Atribución de hablantes	13 idiomas, hasta 8 hablantes
Duración de la grabación	Hasta 1 hora
Ventana de contexto	64k tokens

Los prompts cambian el estilo de salida. En el ejemplo de Nvidia, palabras habladas como «veinticinco euros» se convierten en «€25» cuando se pide la forma escrita.

Hay un límite claro. «Transcribe está pensado para audio grabado, no para streaming en directo», dice el blog. Las versiones cuantizadas y locales, que funcionarían en hardware más pequeño, aún están por llegar.

Cómo está construido

El modelo es una mezcla de expertos (MoE). En un modelo MoE, solo unas pocas partes de la red se activan para cada fragmento de entrada, lo que lo mantiene rápido. Combina capas Mamba, un diseño más reciente que maneja secuencias largas con poco coste, con capas Transformer estándar.

El blog indica 30.000 millones de parámetros en total, con unos 4.000 millones activos por token. La ficha del modelo también cuenta el codificador de audio. Indica 34.000 millones en total y unos 4.300 millones activos, incluido un codificador de audio de unos 800 millones de parámetros.

La licencia es OpenMDW-1.1. La ficha dice que el modelo «está listo para uso comercial o no comercial». Nvidia usó la misma familia de licencias para Nemotron 3.5 Super VL, su modelo abierto de visión de 120B, a principios de este mes.

Cómo puntúa

La mayoría de las cifras de benchmarks vienen de la propia Nvidia. Una clasificación independiente respalda la afirmación principal.

Artificial Analysis, que prueba modelos de voz de distintos proveedores, sitúa a Nemotron 3.5 Transcribe en segundo lugar entre los modelos de pesos abiertos. Su AA-WER es del 2,8 %. El WER es la tasa de error por palabra (word error rate), la proporción de palabras que un modelo transcribe mal, así que cuanto más bajo, mejor. La misma página muestra un WER del 3,4 % en su tabla principal sin explicar la diferencia. Fija el precio del modelo en 2,00 dólares por cada 1.000 minutos a través del proveedor DeepInfra.

Las cifras propias de Nvidia incluyen estas:

• Multilingüe: un WER medio del 4,62 % en siete idiomas en las pruebas Open ASR de Hugging Face.
• Grabaciones largas: un WER medio del 10,98 % en audio de larga duración.
• Conversaciones: 1,8 % de WER en AA-AgentTalk, frente al 2,3 % del siguiente mejor modelo abierto.
• Velocidad: 100 horas de audio en menos de tres minutos en una sola GPU RTX PRO 6000 Blackwell, con una próxima versión NVFP4.

Esa cifra de velocidad requiere cautela. La ficha del modelo dice que esas optimizaciones de servicio aún no están en la versión de código abierto. Prevé que la configuración abierta con NeMo y vLLM funcione aproximadamente el doble de lenta.

Granary v2 y ajuste a medida

Granary v2 reúne 463.062 horas de audio en 48 idiomas, procedentes de 16 corpus de origen. El primer Granary cubría 25 idiomas. Nvidia también comparte el pipeline NeMo Curator que utilizó, para que los equipos puedan aplicar la misma limpieza a sus propias grabaciones. El audio en sí debe descargarse por separado bajo la licencia original de cada corpus.

Nvidia probó el ajuste fino con habla médica usando datos de Eka Care. Las tasas de error en hablantes reservados fuera del entrenamiento bajaron del 22,44 % al 12,17 %. El inglés general empeoró ligeramente: el WER en LibriSpeech test-clean subió del 1,54 % al 1,69 %. Nvidia recomienda al menos 100 clips etiquetados para un ajuste a medida.

Qué significa para los desarrolladores

Un modelo abierto que transcribe, identifica hablantes y traduce en una sola pasada cambia las cuentas entre construir o comprar funciones de voz.

• Pruébelo frente a su stack actual. Si encadena un modelo de transcripción con una herramienta de diarización aparte, un solo modelo puede reducir la latencia y el código de enlace. Compare con su propio audio, no solo con las clasificaciones.
• Manténgalo lejos del audio en directo. Nvidia dice que está pensado para grabaciones. Las notas de reuniones, los pódcasts y los archivos de llamadas encajan; los subtítulos en directo, todavía no.
• Planifique el hardware. Con unos 4.000 millones de parámetros activos, es más barato de ejecutar de lo que sugiere su tamaño, pero los pesos completos siguen necesitando una GPU de centro de datos hasta que lleguen versiones más pequeñas.
• Ajústelo para la jerga. La prueba médica muestra grandes mejoras con un conjunto de datos pequeño y enfocado. Los equipos legales, médicos y de soporte con vocabulario propio deberían presupuestar un ajuste y comprobar después la precisión general.
• Revise la salida. El propio consejo de Nvidia es «comprobar por muestreo los nombres, los cambios de hablante y las respuestas frente a la grabación». Incorpore un paso de revisión en cualquier flujo de trabajo en el que importe un nombre o un hablante equivocado.

La verdadera prueba es si los desarrolladores confiarán cuatro trabajos a un solo modelo. Los pesos abiertos les permiten averiguarlo con sus propios datos, lo que es más de lo que puede mostrar cualquier clasificación.