Nvidia Nemotron 3.5 Transcribe：1つで済むオープンな音声モデル

Nvidiaは2026年10月28日、Nemotron 3.5 Transcribeを公開しました。4つの仕事を1つでこなすオープンウェイトの音声モデルです。音声の文字起こし、話者の識別、翻訳、録音内容についての質問への回答ができます。開発者は、普段の言葉で書いたプロンプトでモデルを操作します。これにより、3つか4つの別々の音声ツールをつないだパイプラインを、1回のダウンロードで置き換えられる可能性があります。

Nvidiaは、学習に使ったデータセットGranary v2と、その構築に使ったツールも公開しました。

モデルができること

Hugging FaceブログでのNvidiaの発表によると、1つのチェックポイントで文字起こし、話者ラベル付け、翻訳、音声に関するQ&Aを処理します。話者ラベル付けはダイアライゼーションとも呼ばれ、各行に誰が話したかのタグを付けることを指します。

機能	対応範囲（Nvidiaによる）
文字起こし	40言語
翻訳	31言語、英語へ、または英語から
話者の帰属	13言語、最大8人の話者
録音の長さ	最大1時間
コンテキストウィンドウ	64kトークン

プロンプトによって出力のスタイルが変わります。Nvidiaの例では、書き言葉の形式を指定すると、「にじゅうごユーロ」のような話し言葉が「€25」に変換されます。

明確な制限が1つあります。ブログには「Transcribeは録音済みの音声向けに作られており、ライブストリーミング向けではありません」とあります。より小さなハードウェアで動く量子化版やローカル版は、まだこれからです。

仕組み

このモデルは混合エキスパート（MoE）です。MoEモデルでは、入力の各部分に対してネットワークのごく一部だけが動くため、高速に保たれます。長いシーケンスを低コストで扱える新しい設計のMambaレイヤーと、標準的なTransformerレイヤーを組み合わせています。

ブログによると、総パラメーター数は300億で、トークンあたりのアクティブパラメーターは約40億です。モデルカードは音声エンコーダーも数に含めています。総数は340億、アクティブは約43億で、約8億パラメーターの音声エンコーダーを含みます。

ライセンスはOpenMDW-1.1です。モデルカードには、このモデルは「商用・非商用のどちらの用途にも使用できる状態です」と書かれています。Nvidiaは今月初め、120BのオープンなビジョンモデルNemotron 3.5 Super VLにも同じライセンスファミリーを使いました。

ベンチマークの結果

ベンチマークの数字の大半はNvidia自身によるものです。主な主張を裏付ける独立したランキングが1つあります。

複数のプロバイダーの音声モデルをテストしているArtificial Analysisは、Nemotron 3.5 Transcribeをオープンウェイトモデルの中で2位としています。AA-WERは2.8%です。WERは単語誤り率（word error rate）のことで、モデルが間違えた単語の割合を示すため、低いほど優れています。同じページのメインの表には、差についての説明がないまま3.4%のWERが記載されています。プロバイダーのDeepInfra経由での価格は、1,000分あたり2.00ドルとされています。

Nvidia自身の数字には、次のようなものがあります。

• 多言語： Hugging FaceのOpen ASRテストで、7言語の平均WERが4.62%。
• 長い録音： 長尺の音声で平均WERが10.98%。
• 会話： AA-AgentTalkでWER 1.8%。次点のオープンモデルは2.3%です。
• 速度： 今後提供予定のNVFP4版を使い、1基のRTX PRO 6000 Blackwell GPUで100時間分の音声を3分未満で処理。

この速度の数字には注意が必要です。モデルカードによると、こうしたサービング向けの最適化は、オープンソース版にはまだ含まれていません。オープンなNeMoとvLLMの構成では、およそ2倍遅くなると見込んでいます。

Granary v2とカスタム調整

Granary v2は、16のソースコーパスから集めた48言語、463,062時間の音声を収録しています。最初のGranaryは25言語に対応していました。Nvidiaは、使用したNeMo Curatorのパイプラインも共有しているため、チームは自分たちの録音に同じクリーンアップを実行できます。音声そのものは、各コーパスの元のライセンスに従って別途ダウンロードする必要があります。

Nvidiaは、Eka Careのデータを使って医療分野の音声でファインチューニングを試しました。学習に使っていない話者での誤り率は、22.44%から12.17%に下がりました。一般的な英語はわずかに悪化し、LibriSpeech test-cleanのWERは1.54%から1.69%に上がりました。Nvidiaは、カスタム調整にはラベル付きクリップを少なくとも100本用意するよう推奨しています。

開発者にとっての意味

文字起こし、話者ラベル付け、翻訳を1回の処理でこなすオープンモデルは、音声機能を自作するか購入するかの計算を変えます。

• 今のスタックと比べてテストする。 文字起こしモデルと別のダイアライゼーションツールをつないでいるなら、1つのモデルで遅延とつなぎのコードを減らせるかもしれません。リーダーボードだけでなく、自分たちの音声で比較してください。
• ライブ音声には使わない。 Nvidiaは、録音向けに作られているとしています。会議メモ、ポッドキャスト、通話アーカイブには向いていますが、ライブ字幕にはまだ向いていません。
• ハードウェアを計画する。 アクティブパラメーターが約40億なので、規模の割に低コストで動かせます。ただし、小型版が出るまでは、フルの重みにデータセンター向けGPUが必要です。
• 専門用語に合わせてファインチューニングする。 医療分野のテストでは、小さく絞り込んだデータセットで大きな改善が見られました。独自の語彙を持つ法務、医療、サポートのチームは、調整の予算を確保し、その後で全体的な精度を確認するべきです。
• 出力を確認する。 Nvidia自身も「名前、話者の切り替わり、回答を録音と照らし合わせて抜き取り確認する」よう勧めています。名前や話者の誤りが問題になるワークフローには、確認の工程を組み込みましょう。

本当の試金石は、開発者が1つのモデルに4つの仕事を任せるかどうかです。オープンウェイトなら、自分たちのデータで確かめられます。これは、どんなリーダーボードにも示せないことです。