NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe 及 Granary v2 数据管线

一个用于多语言转写、说话人归属、翻译和音频问答的开源模型，具有顶尖的排行榜表现，并随附开源的 Granary v2 数据管道和微调方案以进行适配。

一份转录文本可以捕捉到每一个说出的词，却依然会让用户或应用程序疑惑究竟是谁说了什么、该如何翻译，或者如何格式化特定领域的术语。多语言通话、快节奏的会议以及医疗口述，每一种场景都需要不同的输出结果：翻译、说话人标签或正确拼写的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示（promptable）的模型，能够将录制的语音转化为实用的文本，现已在 Hugging Face 和 ModelScope 上线。它将转录、说话人归属（区分说话人）、翻译和音频问答集成到一个检查点中：它支持 40 种语言的转录，其中 31 种语言与英语之间的互译，以及 13 种语言的说话人归属。它可处理长达一小时的录音，并标记最多八个说话人。开发人员可以通过自然语言引导输出，选择音频的处理位置，并针对领域词汇和口音调整识别效果。

Transcribe 在 Hugging Face Open ASR Leaderboard 的英语开源权重模型中名列第一，并位于 Artificial Analysis 的准确率-活跃参数前沿。在说话人归属方面，它在 David AI 的 21 种语言说话人区分排行榜上创下了最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。它可以在单个 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可支持。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）以及可重复使用的精选管道，结合 NeMo Speech 微调工具，将提示级别的控制扩展到了训练阶段：开发人员可以定义所需的书面形式，并使模型适应其应用程序遇到的语音。在一个医疗案例研究中，针对未接触过的说话人，微调使词错误率（WER）相比最佳提示降低了 45.8%。

使用自然语言引导转录和分析

根据指令的不同，同一个检查点可以将一份会议录音转换为不同的输出：

“转录此录音并标记每个说话人。”
“将此音频翻译成英语。”
“这次会议作出了哪些决定？”

在下方的视频中体验模型的实际运行，视频处理了 1940 年经典神经喜剧《女友星期五》（His Girl Friday）中的一个经典场景——该片以语速极快、对话大量重叠而闻名。

Nemotron 3.5 Transcribe 为《女友星期五》（1940）的一个场景添加了字幕，并标注了说话人，包括重叠的对话。

对于不熟悉的术语，请在训练前尝试上下文。例如，在医疗保健环境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡提供了推荐的预设（包括针对音频问题的推理）、完整的提示指南以及任务与语言矩阵：语言支持因任务而异，且音频问答是在英语中训练的。该模型还支持词级别的显式时间戳。与任何语音模型一样，请根据录音随机抽查人名、说话人变更和答案。

从直播课程到持久的知识。声网（Agora）的实时语音和视频平台为应用内的实时对话提供支持，它在课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转换为与回放同步显示的文本记录，以便学生能够查看说了什么以及在什么时候说的。Agora 的博客详细介绍了他们的构建过程。

从转写到说话人归属的排行榜夺冠

在开源权重模型中，Transcribe 在“说了什么”方面领先；在“谁说的”方面，它在两个说话人归属基准测试中名列榜首。

Hugging Face Open ASR Leaderboard。该排行榜通过公共测试集上的词错误率（WER）来衡量转写准确率，分为三个赛道：

英语：在开源权重模型中排名第一，平均 WER 为 5.33%（图 1）。
多语言：在模型卡的 Open ASR 比较中，七种语言的平均 WER 为 4.62%，是所评估的开源权重模型中最低的。
长音频：平均 WER 为 10.98%，在该比较中同样最低。

图 1. Nemotron 3.5 Transcribe 在 Hugging Face Open ASR Leaderboard（英语）的开源权重模型中排名第一，平均 WER 为 5.33%（排除了 API 模型）。较低的 WER 意味着更少的转写错误。

Artificial Analysis 语音转文本排行榜。Artificial Analysis 根据其词错误率指数 AA-WER 独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 在开源权重模型中以 2.8% 的 AA-WER 并列第一，它拥有约 40 亿（4B）激活参数，而与之并列的模型则拥有 240 亿（24B）参数。在构成 AA-WER 指数 50% 的保留语音代理语音集 AA-AgentTalk 上，Transcribe 的 WER 得分为 1.8%，而表现第二好的开源权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 混合专家语言模型配对，因此在每个 token 中其 300 亿（30B）参数里只有约 40 亿（4B）是激活的。这使其处于 Artificial Analysis 的准确率与激活参数的开源权重帕累托前沿上。在 AA 的全模型图表中，它的排名领先于几个广泛使用的专有语音 API。

图 2. 以约六分之一的激活参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以大约 40 亿的激活参数实现了 2.80% 的 AA-WER。

跨语言和重叠的说话人归属。Sortformer 说话人提示与声学特征一起到达语言模型，因此 Transcribe 可以在生成过程中标记每次发言，而不必仅仅依靠后续步骤将说话人附加到词语上。

David AI DAI-ASR-I18N 排行榜。在 David AI 的 DAI-ASR-I18N 综合转写与说话人归属赛道中，Transcribe 在评估的开源权重模型中排名第一，总体排名第二。在该基准测试的说话人分类赛道（对 21 种语言中谁在何时说话进行评分）中，它在测试的 14 个系统中拥有最低的说话人分类错误率，微弱领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

图 3. NVIDIA 模型占据了 David AI 多语言说话人分类排行榜的前两位：Nemotron 3.5 Transcribe 公布了跨 21 种语言最低的总体说话人分类错误率（DER），为 18.26%，其次是 Nemotron 3 Diarization，为 18.38%。DER 测量说话人时间错误；越低越好。

VoiceArena Diarization-Bench. 在 VoiceArena 的英语完整会话基准测试中，Transcribe 在 14 个系统中取得了最低的串联最小排列词错误率（cpWER），并在面对面和在线场景中均排名第一。它丢失的词也最少：删除的词占参考词的 8.32%，而中位数约为 31%。

$VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%$

图 4. NVIDIA 模型在 VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领跑，其次是采用 Nemotron 3 Diarization 的 NVIDIA Multitalker Parakeet，为 34.2%。Diarization-Bench v1 涵盖英语完整会话、重叠语音以及 2 到 8 名说话人。cpWER 在匹配说话人标签后计算词错误率；越低越好。

更多评估。 Ocular AI 的 Converse-STT 评估将 Transcribe 评为顶尖开源模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在各个印度语言上的结果。

从边缘运行至数据中心。 Transcribe 可以在单个 NVIDIA GPU 上运行，从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心 GPU。在一张配备 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它能在三分钟内处理 100 小时的音频，该数据是在高并发下通过 30 秒片段测得的。

立即使用 vLLM 提供检查点服务，或使用 NeMo-Speech.cpp 在本地运行它。Transcribe 专为录制音频而构建，不适用于实时流式传输。

专业录音可能仍然需要适应特定领域的词汇和转写约定。Granary v2 和 NeMo Speech 微调解决了这个问题，从 Transcribe 背后的数据开始。

Granary v2：Transcribe 背后的开放式数据策展流水线

一个可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合的一部分。它使用 NVIDIA NeMo Curator 构建，其可重用的流水线准备了用于 Nemotron 3.5 Transcribe 训练的多语言语音，生成了对齐的转写变体、任务标签和可检查的质量元数据。公开清单涵盖了 48 种语言和 16 个源语料库的 463,062 小时音频，高于 Granary v1 中的 25 种语言。这些数字描述的是数据集发布情况，而不是 Transcribe 的完整训练混合物或其采样权重。

Granary v2 为每个录音生成三种转写形式（表 1），这与开发者可以通过提示词从 Transcribe 请求的逐字和纯净风格相同。除了转写之外，该流水线还生成简短的音频标题、外来词的代码转换恢复、以语音为基础的问答对、上下文 ASR 偏置术语以及带有自动质量评分的翻译。

训练目标	示例转写
文本正则化，逐字	I paid, uh, twenty-five euros.
逆文本正则化，带语音卡顿	I paid, uh, €25.
逆文本正则化，不带语音卡顿	I paid €25.

表 1. 针对同一话语的 Granary v2 训练目标。

该流水线分为四个可重用阶段：

1. 音频准备（元数据）：对原始或长音频进行分段，在整个录音过程中跟踪说话人，并标记声学事件和语言。Granary v2 的来源已经过分段，因此本次发布跳过了此阶段。
2. 转写 (ASR)：将每种语言路由至主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时进行回退。人工参考转写有助于保留可信的拼写，同时增加口语形式和语误。
3. 任务标签生成 (Text)：派生转写变体，然后检查字符速率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会收到上下文 ASR 术语和翻译。
4. 高保真度 (HiFi)：过滤掉有噪声、被截断或包含多名说话者的片段，为 ASR 之外的用途保留较小的一组高质量录音。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 35.4 万小时缩减至 11.1 万小时。

图 6. Granary v2 数据精选流水线，展示了从原始音频经过元数据、ASR 和文本阶段到训练样本的单个样本流向。

开发者可以在自己的录音或授权的公共语料库上运行带有 Ray 和 NVIDIA Dynamo 后端的 NeMo Curator pipeline，或者基于 Granary v2 public manifests 构建。这些清单包含三种转写形式（分别为 tn_raw、itn_raw 和 itn_clean）、上述标签、实体提示、派生指令对、来源信息以及每条记录的质量标志。请根据各个语料库的原始许可证单独下载源音频，并遵守发布方公布的条款。

将识别调整为您关注的词汇

从指定语言、脚本和转写格式的开发集提示词开始。在下面的案例研究中，在提示词中指定英语和拉丁字母将完整基准测试的 WER 从 30.8% 降至 23.8%。对于残留的领域错误，NeMo Speech 微调工作流将代表性语音与明确的书面目标配对。

NeMo Speech medical ASR case study 展示了在 Eka Care’s open benchmark（包含来自印度医生和医学生的 3619 个剪辑且没有指定训练划分的录音）上的这一演进过程。该研究利用生成的医学文本和公开的医学目录构建自适应数据，然后将大约 153 小时的合成语音、29 小时来自 Common Voice 的带有口音的英语以及 63 小时来自 MultiMed 的医学录音结合起来。

图 7. 在 Eka Care 印度医学语音基准测试的完整测试集上，更好的提示词将 WER 从 30.8% 降至 23.8%，微调则将其降至 11.8%，转写错误比开箱即用的模型减少了约 62%。完整集包括用于选择提示词和检查点的 855 个微调剪辑；下方保留的结果是更干净的测试集。

合成生成将书面目标与其口语呈现分离：“HbA1c”是标签，而“H B A one C”则被发送到合成器。多种 TTS 声音拓宽了音频；真实录音增添了口音和录音条件。对训练文本进行过滤，以查找精确匹配项和与基准参考共享的八词序列。

正如 Granary v2 的明确目标一样，训练样本涵盖了不同的数字、单位间距、公司名称展开形式以及品牌名称连字符，并通过指令指定所需的规范。某些提示词包含带有极近干扰项的术语列表，因此模型能够学到仅在音频支持时才使用某种拼写。最终系统使用了一个固定的规范提示词和一次模型推理，无需检索或转录后处理。

该方案训练了语音编码器和投影层，并使用 LoRA 来适配语言模型。两次运行使用不同的数据混合；在适配器合并后，选定的检查点被均匀平均为最终模型。检查点选择使用的是解码后的开发集结果，而不是单纯的训练损失。从文本生成到评估，整个适配过程在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

领域收益，在保留测试集说话人上测得

该研究将基准测试按说话人拆分为 855 个微调片段（用于选择提示词和检查点）以及 2,764 个保留片段（每个最终系统解码一次）。使用 Eka Care 的 KARMA 评分管线，微调将保留集的 WER（词错误率）从最佳提示词基线的 22.44% 降至 12.17%，相对降低了 45.8%，这是增益可泛化至新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的保留说话人和评分标准下，适配后的模型的 12.17% WER 优于开放医疗专家模型（13.79%）和广泛使用的通用 ASR 模型（14.92%）。

在通用英语方面，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升至 1.69%。医疗专家模型在品牌药物和诊断的精确匹配方面仍然领先；该研究指出，下一步将使用临床医生说出品牌名称的真实录音。对于您自己的领域，请保留至少 100 个真实的标注片段用于检查点选择，并在评估通用语音保持能力的同时，评估您的应用所依赖的实体类型。

该案例研究包含用于复现每个步骤的命令。微调教程涵盖了训练、导出和评估的方案、资源需求与工具，包括新语言和代码混合 ASR。随附的 Agent 技能可让编程 Agent 运行整个工作流，从基线选择、数据检查到训练验证、适配器合并以及评估。

ModelScope 还支持开发者通过其 ms-swift 框架对 Nemotron 3.5 Transcribe 进行微调，以用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南进行部署。

如需跳过自托管，可以使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适配到您的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及医疗 ASR 案例研究开始，或者让编程 Agent 借助微调 Agent 技能来驱动工作流。

模型与数据集

模型检查点：NVIDIA Nemotron 3.5 Transcribe 位于 Hugging Face、ModelScope | 交互式演示位于 Hugging Face、ModelScope
托管端点：Baseten、DeepInfra、Simplismart \
数据集清单：Granary v2 清单位于 Hugging Face,、ModelScope
高保真子集：清单位于 Hugging Face,、ModelScope | Hugging Face 空间