Nvidia Nemotron 3.5 Transcribe: um único modelo de voz aberto

A Nvidia lançou o Nemotron 3.5 Transcribe em 28 de outubro de 2026, um modelo de voz de pesos abertos que faz quatro trabalhos em um. Ele transcreve áudio, identifica quem está falando, traduz e responde a perguntas sobre uma gravação. Desenvolvedores o controlam com prompts em linguagem comum. Isso pode substituir um pipeline de três ou quatro ferramentas de voz separadas por um único download.

A Nvidia também publicou o Granary v2, o conjunto de dados usado no treinamento, e as ferramentas que usou para construí-lo.

O que o modelo faz

Segundo o anúncio da Nvidia no blog da Hugging Face, um único checkpoint cuida de transcrição, identificação de falantes, tradução e perguntas e respostas sobre áudio. A identificação de falantes, muitas vezes chamada de diarização, significa marcar cada linha com quem a disse.

Recurso	Cobertura, segundo a Nvidia
Transcrição	40 idiomas
Tradução	31 idiomas, para ou do inglês
Atribuição de falantes	13 idiomas, até 8 falantes
Duração da gravação	Até 1 hora
Janela de contexto	64k tokens

Os prompts mudam o estilo da saída. No exemplo da Nvidia, palavras faladas como "vinte e cinco euros" viram "€25" quando se pede a forma escrita.

Há um limite claro. "O Transcribe foi feito para áudio gravado, não para streaming ao vivo", diz o blog. Versões quantizadas e locais, que rodariam em hardware menor, ainda estão por vir.

Como ele é construído

O modelo é uma mistura de especialistas (MoE). Em um modelo MoE, só algumas partes da rede rodam para cada trecho de entrada, o que o mantém rápido. Ele combina camadas Mamba, um design mais recente que lida com sequências longas a baixo custo, com camadas Transformer padrão.

O blog informa 30 bilhões de parâmetros no total, com cerca de 4 bilhões ativos por token. O model card também conta o codificador de áudio. Ele lista 34 bilhões no total e cerca de 4,3 bilhões ativos, incluindo um codificador de áudio de cerca de 800 milhões de parâmetros.

A licença é a OpenMDW-1.1. O card diz que o modelo "está pronto para uso comercial ou não comercial". A Nvidia usou a mesma família de licenças no Nemotron 3.5 Super VL, seu modelo aberto de visão de 120B, no início deste mês.

Como ele pontua

A maioria dos números de benchmark vem da própria Nvidia. Um ranking independente sustenta a afirmação principal.

A Artificial Analysis, que testa modelos de voz de vários provedores, coloca o Nemotron 3.5 Transcribe em segundo lugar entre os modelos de pesos abertos. Sua AA-WER é de 2,8%. WER é a taxa de erro de palavras (word error rate), a parcela de palavras que um modelo erra, então quanto menor, melhor. A mesma página lista uma WER de 3,4% em sua tabela principal, sem explicar a diferença. Ela fixa o preço do modelo em US$ 2,00 por 1.000 minutos pelo provedor DeepInfra.

Os números da própria Nvidia incluem estes:

• Multilíngue: WER média de 4,62% em sete idiomas nos testes Open ASR da Hugging Face.
• Gravações longas: WER média de 10,98% em áudio de longa duração.
• Conversas: 1,8% de WER no AA-AgentTalk, contra 2,3% do segundo melhor modelo aberto.
• Velocidade: 100 horas de áudio em menos de três minutos em uma única GPU RTX PRO 6000 Blackwell, usando uma futura versão NVFP4.

Esse número de velocidade pede cuidado. O model card diz que essas otimizações de serving ainda não estão na versão de código aberto. Ele prevê que a configuração aberta com NeMo e vLLM rode cerca de duas vezes mais devagar.

Granary v2 e ajuste personalizado

O Granary v2 reúne 463.062 horas de áudio em 48 idiomas, tiradas de 16 corpora de origem. O primeiro Granary cobria 25 idiomas. A Nvidia também compartilha o pipeline NeMo Curator que usou, para que as equipes possam aplicar a mesma limpeza às suas próprias gravações. O áudio em si precisa ser baixado separadamente, sob a licença original de cada corpus.

A Nvidia testou o fine-tuning em fala médica com dados da Eka Care. As taxas de erro em falantes deixados fora do treinamento caíram de 22,44% para 12,17%. O inglês geral piorou um pouco: a WER no LibriSpeech test-clean subiu de 1,54% para 1,69%. A Nvidia recomenda pelo menos 100 clipes rotulados para um ajuste personalizado.

O que isso significa para desenvolvedores

Um modelo aberto que transcreve, identifica falantes e traduz em uma única passada muda a conta entre construir ou comprar recursos de voz.

• Teste-o contra sua stack atual. Se você encadeia um modelo de transcrição com uma ferramenta de diarização separada, um único modelo pode reduzir a latência e o código de ligação. Compare com o seu próprio áudio, não só em rankings.
• Mantenha-o longe de áudio ao vivo. A Nvidia diz que ele foi feito para gravações. Atas de reunião, podcasts e arquivos de chamadas se encaixam; legendas ao vivo, ainda não.
• Planeje o hardware. Com cerca de 4 bilhões de parâmetros ativos, ele é mais barato de rodar do que o tamanho sugere, mas os pesos completos ainda exigem uma GPU de data center até que versões menores saiam.
• Faça fine-tuning para o jargão. O teste médico mostra grandes ganhos com um conjunto de dados pequeno e focado. Equipes jurídicas, médicas e de suporte com vocabulário próprio devem reservar orçamento para um ajuste e verificar a precisão geral depois.
• Confira a saída. O próprio conselho da Nvidia é "conferir por amostragem nomes, trocas de falante e respostas em relação à gravação". Inclua uma etapa de revisão em qualquer fluxo de trabalho em que um nome ou falante errado faça diferença.

O teste real é se os desenvolvedores vão confiar quatro tarefas a um único modelo. Pesos abertos permitem que eles descubram isso com os próprios dados, o que é mais do que qualquer ranking pode mostrar.