同一个模型，按需换深度

线上服务的请求并不一样贵。一句闲聊和一个多步推理，用同一个深度去算，前者是浪费，后者是不够。

一、发生了什么

现在的常规做法是按预算训几个模型，或者至少维护几套配置。成本高，各档之间的能力也不连续。

Accordion 走另一条路：一个基于专家混合（MoE）的模型，通过固定前缀的层循环，支持五档推理预算。每一档对应一条预定义的执行路径，最低那档就是不做循环的原模型。

训练方式很朴素：联合预训练时，每个 micro-batch 随机采一档预算，只优化这一档的下一词预测损失，不加任何跨预算的一致性目标。

预算还要在后续阶段保住。作者用监督微调和强化学习维持五档能力，其中一步是把三个领域专家合并进一个模型：先合并参数组，再做与预算匹配的多教师在线策略蒸馏。

规模是 3.6 万亿 token 预训练。在一个 6B 总参、0.5B 激活的模型上，加深推理深度让 37 个任务、五个类别的大类平均分提升 3.01 个百分点。关键数字是：中间那档只用了一半的额外层执行，就拿到了这个提升的 89%。

最终模型在对应的任务与预算平均上超过原来的每个领域专家；各档的指令跟随都保持得不错；数学推理和代码生成上的深度收益也还在。

边界：37 个任务、五个类别的平均分是聚合指标，摘要没给单项。五档各自具体的层执行次数、延迟和吞吐，摘要都没写。3.01 个百分点是相对不循环基线的，不是相对别的模型。

补一点同主题背景。这是背景，不是论文结论：推理成本的分层在工程上早就在做，常见手段是按请求长度分批、按难度路由到不同尺寸的模型。问题出在维护成本——模型越多，版本越难对齐，评测矩阵越大。把档位收进一套权重里，本质上是在用架构换运维复杂度。

二、跟你有什么关系

做推理部署的：真正省钱的地方不是最深那档，是中间档。流量里如果有大半是简单请求，收益就成立。

做端侧、边缘的：一套权重、多档算力，比打包五个模型省存储和内存。

做架构研究的：层循环这条路的关键不是「能循环」，是「循环之后各档都还能用」。这篇的贡献在后半句。

三、怎么判断

1. 先量流量分布。把请求按难度粗分三档，看简单请求占多少。占比不到一半，这套设计的收益会打折。分布可以从日志里估，不用改服务。
2. 看中间档的效率，而不是最高档的分数。89% 的收益配一半的额外层执行，这个比例才是可用信号。
3. 验收逐档做。五档里如果只有最高档能打，那就退化成了一个更贵的模型加四个摆设。

四、三个别信的说法

「层循环等于免费加深。」 多循环一次就多一次前向计算，延迟是实打实涨的。省的是「不用训五个模型」，不是「不用算」。

「一个模型五档一定比五个模型便宜。」 训练成本降了，推理成本要看路由准不准。把难题分到低档，省下的算力会以错误率的形式还回来。

「训练时对齐了，推理时就稳定。」 五档各自是一条路径，任何一档的分布偏移都要单独监控。

五、一句话结论

弹性深度的价值不在最深那档有多强，在中间那档有多划算。

信息来源

• arXiv：Accordion，用固定前缀层循环做弹性深度推理（2026-10-23）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。