英伟达开源语音转写模型，一小时录音能标出谁在说话

九十分钟的会议录音，转成文字只是第一步。麻烦在第二步：这段话是谁说的，那个结论是几点讲的，谁在会上明确反对过。

商用转写服务按分钟收费，一小时会议几十块钱，说话人分离还得另算一项能力。10 月 29 日，英伟达把「转写 + 分人 + 时间轴」塞进同一个开源模型里放了出来。

一、发生了什么

10 月 29 日，英伟达放出了一个专做这活的语音模型并开源，名叫 Nemotron 3.5 Transcribe。官方给它的定位是录音转写，不是实时语音助手（据智东西 10 月 29 日报道）。

规模上，总参数约 340 亿，单次推理只激活约 43 亿。这是混合专家（MoE）架构的常规做法：用总参数堆能力，用激活参数控成本——术语第一次出现，人话就是「仓库很大，每次只开几个货架」。骨干网络是 Nemotron 3.5 Lightning 30B-A3B，52 层里 23 层走 Mamba-2、23 层走 MoE、只剩 6 层是注意力机制，长音频主要靠前两类扛。

能力清单比参数更值得看：

• 语言：官方称覆盖 40 种。
• 时长：单次最长处理 1 小时音频。
• 输出形态：逐字转写、书面化转写、带上下文提示的转写、标注说话人的转写、含笑声等非言语信息的丰富转写、语音翻译，六种全部靠自然语言指令切换，不用重新训练。
• 时间轴：输出词级时间戳，并把每段话归到具体发言人名下。

准确率的数字得给全，别只挑好看的。英文 Open ASR Leaderboard 的 9 个公开测试集上，平均词错误率（WER，越低越准）是 4.71%，比阿里 Qwen3-ASR-1.7B 的 4.94% 低。多语言测试平均 4.62%，这个成绩只排第三：ElevenLabs Scribe v2 报 3.56%，Azure Speech 报 3.72%，都在它前面；被它压住的是 Whisper 的大版本、Voxtral 的 24B，以及参数只有 1.7B 的 Qwen3-ASR。多人同时说话的场景，它平均 15.80%，对比专用级联方案 DiCoW v3.3 配 DiariZen 的 16.83%。

还有一组数字容易被忽略。技术报告显示，加了强化学习之后，英文 WER 从 4.34% 降到 4.00%，多语言从 5.05% 降到 4.78%，人名产品名这类实体的准确率从 86.37% 升到 88.60%。换句话说，团队把力气花在了「专有名词不写错」上，而不是死磕总榜名次。

速度方面，官方在单张 RTX PRO 6000 Blackwell 服务器卡上测：NVFP4 量化配 DFlash2 解码，吞吐最高每秒处理 2238 秒音频；单请求跑一段 30 秒音频约 0.13 秒。这是服务器卡的实验室数字，不是轻薄本能复现的。

二、跟你有什么关系

只用手机的人：这条可以直接划过去。340 亿参数的模型塞不进手机，官方也没做消费级 App。你需要的是现成的转写服务，不是权重文件。

每周开会、要做访谈整理的人：值得盯，但今天先别动手。模型开源通常意味着很快会有第三方把它包成按次收费的小工具，那时价格大概率比现在按分钟计费便宜。你要等的是工具，不是模型。

做内容、带小团队、手上有显卡的人：这是今天唯一能立刻上手的群体。官方给了 BF16、FP8、NVFP4 三档精度，用途就是让不同显存的机器各取所需。但官方没有公布最低显存要求，能压到多小的卡上跑，得自己实测。

在意「谁说的」而不只是「说了什么」的人：这类能力过去是单独买的服务。会议纪要里「张三提的方案，李四没表态」，访谈里「受访者在这段明显停顿了」，靠纯转写是拿不到的，得靠说话人分离加非言语标注。它把这两件事合成一个流程，省的是拼接的工夫。

三、怎么用

手上已经有 GPU 环境的话，按这个顺序试最省时间。

1. 先确认场景对不对。它整段处理，不是流式识别。会议录音、访谈、播客、客服工单合适；直播字幕、电话实时翻译不合适。
2. 定精度。显存紧就先上 NVFP4，够用再往 FP8、BF16 退。精度越高，长音频越吃显存。
3. 用指令指定形态，别用默认。同一段录音，给别人看就让它出书面化版本，要留证据就让它逐字输出。指令写成人话就行，例如「逐字转写，标出每位发言人，保留停顿和笑声」。
4. 把专有名词提前喂进去。人名、产品名、项目代号先列成清单一起给。它有一路专门做上下文偏置的识别，官方把「上下文辅助转写」单独列成一种形态，说明这是被重点训练过的能力。
5. 要定制再谈微调。官方提供 NeMo Speech，单张 GB300 上每项适配任务约 0.5 到 2.3 小时。注意这是纯训练时间，不含数据清洗。

四、三个别信的说法

「开源了，等于免费。」 错在把权重和算力混为一谈。权重可以免费下载，跑它要卡、要电、要人维护。按成本算，一天转十小时录音的个人用现成服务更便宜；一天转上百小时的团队，自建才开始回本。

「支持 40 种语言，中文和英文一样准。」 这次公开的材料里，没有中文的单独测试成绩。它在多语言榜只排第三，前面还有两家。中文是它训练数据里的大语种，但「支持」和「好用」是两件事。拿你自己真实的 20 段录音跑一遍再决定。

「0.13 秒转完 30 秒音频，可以当同传用。」 0.13 秒是单请求、单卡、特定量化下的实验室延迟，而且这个模型本身不做流式。同传要边听边出字，它是听完再出。两回事。

五、一句话结论

英伟达这次卖的不是「又一个更准的语音模型」，而是把转写、分人、翻译、时间轴捏进一份开源权重里——要自建转写流水线的团队，这是今年最省事的一块拼图；只想把会议纪要整理出来的人，等别人做成工具再用。

延伸阅读：语音转文字工具怎么挑、会议纪要的整理流程、在 Mac 上跑本地语音模型。

信息来源

• 智东西《30秒录音，0.13秒转完！英伟达开源340亿参数语音模型》，2026-10-29：https://zhidx.com/p/605500.html

本文基于公开信息整理，模型许可、可用范围与部署要求以官方公告为准；文中测试数字均为厂商公布口径，未经本站独立复测。