同一块层反复用，能不能不等上一轮

想要更强的模型又不想加参数，有个省钱路子：让同一组权重反复过很多遍，小身材攒出大算力。但每遍都要等上一遍算完，轮数越多、响应越慢，这条路卡在了排队上——深度买来的智能，被延迟如数还了回去。

一、发生了什么

10 月 26 日提交的一篇论文给出新解法。背景是：此前已有并行方案把不同位置的循环计算错开重叠，相当于让不同 token 的层数沿时间轴摊开走，但深度一大收益就上不去了，等于老路走到头。新方法换了切口：对同一个词前缀，把多轮计算折成并行的批次——一个轻量预测器先估出后面几轮的输入，让它们提前开工；等前面轮次的结果陆续到位，再用一个修正器回头打磨后面的输出，猜错的部分被逐步纠偏。整套东西只用最终的下一个词预测损失联合训练，预测器和修正器一起学，不用额外监督，也不改推理流程的外形。在 14 亿参数规模上做实验：加深循环后，八项任务的零样本平均分从五成三四爬到五成六四，而老方法在同样深度区间几乎原地踏步；速度上，对比九轮串行的原始版本，新方法用五个串行段加并行计算，把解码延迟砍掉了将近一半。

二、跟你有什么关系

在端侧和边缘设备上跑模型的：循环架构的卖点是小参数量大算力，延迟砍半让它更接近可部署线，同档芯片能换到更深的等效计算。做模型推理优化的：「预测提前开工、结果到了再修」是一个可复用的通用套路，不止这一种架构吃这套，投机解码的思路跟它也算远亲。追架构论文的：它证明「深度」未必等于「串行时间」，两者可以解耦，这条结论值得记住。

三、怎么判断

1. 先看你的延迟瓶颈：如果瓶颈在轮数串行，这个方向对症；如果瓶颈在带宽或访存，换了也白换。
2. 算修正器的账：并行是把计算提前，不是凭空省算力，总 FLOPs 会涨，要看你的场景宁可慢还是宁可费。
3. 深度加码前先复测：论文的准确率爬升来自 1.4B 规模的八项任务，你的模型和任务要自己跑一遍零样本对齐。
4. 训练管线别拆开调：三个部件只用最终预测损失联合训练，拆开分别调参反而破坏配合，论文的简洁正是省事的地方。

四、三个别信的说法

「并行化等于免费加速。」 预测和修正都新增了计算，买回来的是延迟不是总算力，账要分开算。

「循环深度随便加深。」 老方法深了不掉点是因为重叠窗口有限，新方法能吃到深度红利的前提是修正质量跟得上。

「背景知识：参数量大才等于强。」 这只是背景，不是论文结论——但同参数下多算几遍确实是一条被验证的增智路径，端侧尤其值得看。

「修正器是保险丝，坏了也无所谓。」 恰恰相反，预测错的输入靠修正器拉回来，它才是并行敢抢跑的前提；修正质量跟不上，深度红利就吃不到。

五、一句话结论

排队不是深度的宿命——先猜后修，串行的钟表也能拨快一半。

信息来源

• 循环深度并行化的论文，2026-10-26 提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。