扩散语言模型提速，先学会「该出手」

自回归模型一个词一个词往外蹦，扩散式语言模型则是全句一起猜、多轮一起定，一轮能并行吐出好几个词。听起来并行度占优，实际常常要刷很多轮才能收尾，快而不畅。问题出在哪？一篇 10 月 26 日提交的论文给出了一个反直觉的答案。

一、发生了什么

两位作者发现，解码效率不只取决于哪些词好猜，更取决于「先定下哪个词」能帮到别的位置。一个一眼就能猜中的词，揭晓了也提供不了多少新信息；反过来，先把那个难猜的词亮出来，周围好几个位置会跟着变得可预测。换句话说，出词顺序本身就是一门学问，此前没人把它当成可学习的对象。据此他们提出一套调度蒸馏框架：先构造「按信息量排序的揭晓时间表」，把那些能最大程度降低全局不确定性的 token 提前排；再把这套时间表蒸馏进模型，配上约束分布偏移的正则项保住生成质量。在数学题基准上，这套方法在两个开源扩散基座——一个 80 亿参数、一个 70 亿参数——上分别拿到约十倍和五倍的加速，任务成绩不降反升。代码已经放在代码托管平台上开源。

二、跟你有什么关系

做推理部署的人：扩散路线的卖点就是并行出词，这种「挑顺序」的思路可以直接进你的加速工具箱，代价只是离线蒸馏一次，线上推理流程不变。做 agent 长输出的：轮数减半意味着首字延迟和总时延一起省，交互体验差异会很明显。在自己电脑上跑开源模型的：蒸馏好的版本代码公开，等于白捡一档提速，不用换硬件。追新架构的研究者：论文提示加速空间不全在算力调度，「揭晓顺序」本身就是可学习的对象，这个视角可以搬到其他并行解码方案上。

三、怎么判断

1. 先看任务形态：数学推理和代码这类结构化输出上验证最充分，自由写作场景的收益论文没给，别直接外推。
2. 算一次蒸馏的成本：时间表要离线构造并训进模型，小团队用开源蒸馏好的版本比自训划算。
3. 留意质量正则：加速和分布保真靠正则项平衡，换任务时这个系数要重调。
4. 上线前用自己的数据AB一把：基准上的十倍加速落到你的具体负载里会缩水，实测轮数和首字延迟最诚实。

四、三个别信的说法

「步数越少一定越好。」 揭晓太早会锁死错误路径，这套方法的核心恰恰是「何时出手」，不是一味求快。

「十倍加速适用于所有模型。」 论文数字来自特定两个开源基座和特定基准，换模型换任务都要重测。

「这是背景知识：扩散路线已经赢了自回归。」 这只是背景，不是论文结论——自回归生态的工程成熟度仍然领先，扩散方案的胜负未定。

「蒸馏进模型的东西都一样。」 传统蒸馏传的是「答案长什么样」，这篇传的是「按什么顺序揭晓」，传的是节奏不是内容，两者可以叠加。

五、一句话结论

并行生成省的是算力，挑对揭晓顺序省的是轮数——两头都省才是真快。

信息来源

• 扩散语言模型加速调度的论文，2026-10-26 提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。