英伟达开源 Nemotron 3.5 Transcribe：一个可提示的多语种转写模型

10月28日，英伟达通过 Hugging Face 博客发布开源权重模型 Nemotron 3.5 Transcribe。检查点已在 Hugging Face 和 ModelScope 上线，与之同时发布的还有 Granary v2 数据管线和 NeMo Speech 微调工具。

这个模型把转写、说话人分离、翻译和音频问答放进同一个检查点。它支持40种语言的转写，其中31种可与英语互译，并在13种语言上做说话人标注；单条录音最长一小时，最多标记8位说话人。输出由自然语言指令控制，同一份权重既能生成带说话人标签的逐字稿，也能直接给出英译或会议决议摘要。

结构上，Transcribe 由语音编码器与混合 Mamba–Transformer 的专家混合语言模型组成，300亿总参数中每个 Token 仅激活约40亿。这样的激活规模让它能跑在单张 GPU 上，覆盖 Jetson AGX Thor、DGX Spark 直到 Blackwell 数据中心卡。英伟达称，一张 RTX PRO 6000 Blackwell Server Edition 在 NVFP4 精度下不到三分钟即可处理100小时音频；模型可经 vLLM 或 NeMo-Speech.cpp 部署，面向录制音频而非实时流。

榜单数据相当具体。在 Hugging Face Open ASR 榜单上，它的英语平均词错误率为5.33%，在开源权重模型中排名第一；七种语言平均 WER 为4.62%，长音频为10.98%。在 Artificial Analysis 的评测中，它以2.8%的 AA-WER 与第一名并列，激活参数约为对手的六分之一；在语音智能体专用的 AA-AgentTalk 留出集上，它的 WER 为1.8%，次优开源模型为2.3%。

说话人分离是这次最不一样的地方。Sortformer 的说话人线索与声学特征一起进入语言模型，标签在生成过程中就打上，而不是事后对齐。在 David AI 覆盖21种语言的分离测试中，它的分离错误率为18.26%，略优于自家专用的 Nemotron 3 Diarization（18.38%）。在 VoiceArena 的14系统英语评测里，它以32.4%的 cpWER 居首，漏词比例为8.32%，而中位数约为31%。

同批发布的 Granary v2 是这套能力背后的数据管线。其公开清单覆盖48种语言、16个来源语料、共463,062小时，语种数量较 v1 的25种明显扩展。管线为每条录音生成三种转写形态——文本规范化的逐字稿、保留口语停顿的反向规范化文本、以及干净文本，正好对应开发者可以用提示词索要的三种风格；此外还产出音频描述、语码转换还原、语音问答对和带质量评分的翻译。

随附的医疗案例说明了微调路径的价值。在 Eka Care 3,619条印度医生录音的测试集上，仅在提示中写明语言与书写系统就把全量测试 WER 从30.8%降到23.8%，微调后进一步降到11.8%。在2,764条留出说话人样本上，适配模型为12.17%，最佳提示词基线为22.44%，相对下降45.8%，也优于开源医疗专用模型的13.79%和通用 ASR 的14.92%。代价是 LibriSpeech test-clean 上从1.54%轻微回退到1.69%，整套适配在一块 GB300 上约耗时14个 GPU 小时。

真正值得关注的与其说是又一张榜单，不如说是打包方式的变化。一个可提示的检查点，加上开放的数据清单和可复现的调优配方，显著降低了多语种会议、客服与临床转写的落地成本；Baseten、DeepInfra 和 Simplismart 的托管端点则覆盖了不想自建的团队。后续可以观察社区向新语种和语码转换场景迁移的速度，以及英伟达是否会把这条路从录制文件推进到模型卡目前排除的实时流。