AI百科网 AI教程
工具库

1.58GB 的转写模型,不插显卡也能实时

微软把语音识别模型从 4.62GB 压到 1.58GB,普通笔记本 CPU 就能跑出实时速度。这篇给出实测数字,讲清"实时"的真实含义和它不适合的场景。

本文目录 · 6 节

在本地跑一段中文转写,过去只有两条路:买显卡,或者花半天配环境。现在多了一条:下一个 1.58GB 的文件,双击跑起来。

一、发生了什么

微软开源的 VibeVoice-ASR-BitNet,是把原版语音识别模型压到能塞进普通电脑的版本。原版 4.62GB,现在 1.58GB,压缩接近三倍,拆成两部分:声学编码器约 0.65GB,语言解码器约 0.92GB。

压缩方式不是一刀切。负责"听"的编码器用 8 位整数,因为它的瓶颈在反复读写中间数据;负责"转成文字"的解码器用三值权重,每个权重只取负一、零、正一,再给最敏感的嵌入层和输出层留 6 位精度兜底。底座是阿里的一个小尺寸模型,微软只是拿它当解码器。

支持的语言包括中、英、法、意、韩、葡、越等。AIGCPanel 把它做成了免显卡的一键运行包,标称 8GB 内存即可。

二、跟你有什么关系

常处理录音的记者、律师、老师,这是目前最省事的一条本地路线。数据不出机器,没有按小时计费,批量跑也不心疼。对需要签保密协议、录了音又不能上传的行业,这才是它能落地的原因。

只有集显的笔记本用户,先看清"实时"的定义。这里指的是处理速度快过音频时长,也就是上传文件后转写,不是麦克风边说边出字。想要会议字幕那种流式体验,得另找方案。

多人会议、方言口音重的场景,别指望它。压缩是有代价的,实测也建议这类音频用未量化的大模型。中文会议录音恰恰是掉点最多的那一档。

顺便说清它的对手是谁。同一尺寸下和 Whisper 系的本地方案比,它更快,会议场景的错字更少;但真正难处理的从来不是模型,是把音频、切分、标点、说话人对齐这几步串起来。

三、怎么用

读到这儿,可以顺路看 Mistral 放出 Le Chonk:代码能打,总分落后 Mistral 开源了万亿参数的 Large 4,绰号 Le Chonk。它在编程任务上追平中国开源模型,综合分却差一截。这篇拆开三张榜单,讲清强在哪、贵在哪、值不值得自部署。
  1. 先测你自己的音频。合成语音测不出准确率,拿一段真实录音跑,才看得出错在哪。
  2. 线程给到 4 个就够。实测里 31 秒音频,2 线程 28.1 秒、4 线程 20.1 秒、8 线程 14.5 秒,4 加到 8 只快了三成,收益递减明显。
  3. 对照官方口径做预期。服务器级 CPU 三线程、苹果 M4 两线程、主流桌面 i7 两线程都能达到实时,官方称比常用的本地方案快 1.6 到 2.3 倍。
  4. 单人播客、课程录音可以整批跑。这类音频干净、说话人单一,是它最舒服的场景。
  5. 需要说话人分离和长音频的,回头用原版。压缩版牺牲的正是这些边角。

四、三个别信的说法

「1.58GB 就能替代云端转写。」 日常听写可以,专业场景不行。嘈杂环境、多人抢话、专业术语密集的录音,云端大模型仍然更稳。

「三值量化会让准确率崩掉。」 没有崩。工程上的关键是分开量化:敏感的层保留高精度,不敏感的层压到极限。照着一刀切去压,才会崩。

「实时就是边说边出字。」 两个概念。处理速度追得上播放速度,和流式输出是两套工程,宣传里经常混着说。

五、一句话结论

本地语音转写的门槛,已经从"有没有显卡"变成了"愿不愿意下载一个 1.58GB 的文件"。真正卡住人的,往往就是最后那几步安装。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 31 日。

下一站 · 具身智能 27 岁清华助理教授开源首款自进化模型 成立五个月的超衍智能开源 35B 模型 Apex-35B,主打 AI 参与模型研发,截至 9 月累计融资近 4 亿元。文中拆解其基准成绩与用途,也提示 RSI 路线的验证难题。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?