换了 harness 掉的分，训练补不回来

给 agent 换一套系统提示词，跑分直接腰斩——多数人的第一反应是模型不行，回头继续堆训练。10 月 27 日挂上 arXiv 的一篇论文给出另一个解释：丢掉的分数可能本来就压在 harness 的天花板里，训练永远够不着。

一、发生了什么

论文把 agent 跑起来的整套外围——提示词、可用工具、控制逻辑——统称为 harness，并追问一个问题：模型在一个 harness 里学到的东西，换到另一个还能带走多少。这个追问有明确的现实针对性：harness 会被反复修改，而修改的依据通常是拿一个已经训好的模型去跑分，这默认了换环境后学到的能力照搬有效。论文证明这个默认靠不住。作者在理论层面给出刻画：在带 KL 正则的控制框架下，训好的策略会把训练环境对各动作的偏好记进参数；部署回报等于 harness 能给的最高回报，再减去策略自己犯错损失的回报。前者叫天花板，后者叫失配。继续训练只能缩小失配那一项，天花板低的环境，练得再久也顶不上去。

实验证据相当扎眼。在网页操作测试 MiniWoB++ 上，仅把观测字段的排列顺序倒过来——所有最优决策一个都没变——训好的模型成功率就从 85.0% 掉到 19.2%。另一面，固定模型对比里落选的新 harness，只要天花板够高，换上去再训练就能反超原 agent，而且这两项指标可以提前估算，用来预测哪套环境值得投入。在编码 agent 的 Terminal-Bench Lite 场景，作者用更强模型代理最优策略，按「天花板减失配」估分，复现了各套 harness 的准确率排名。

二、跟你有什么关系

做 agent 工程的：你的系统提示词和工具配置不是外壳，是模型行为的一部分，改一处等于换了个「老师」。

管训练预算的：先把环境的天花板量出来再决定练不练，别把算力烧在顶不上去的 harness 上。

做评测的：拿一个固定模型横向比 harness，会把「环境给多少」和「模型用得怎么样」搅在一起，这种结论先存疑。

三、怎么判断

1. 换环境前先估两项：这套 harness 最高能到多少，当前策略差在哪。差值都落在策略侧，才值得靠训练解决。
2. 观测格式、字段顺序这类「看起来无害」的改动，先当成重大变更对待，跑一轮完整回归再上线。
3. 评 harness 别只跑一个模型，至少换两个验证排序是否稳定，混在一起的结论先不用。

四、三个别信的说法

成绩掉了就是模型退步。 同一套最优决策、只是字段换了顺序，成功率就能从八成五跌到不足两成，变量在环境侧，不在模型能力。

多训练总能补回来。 理论刻画写得很清楚：训练只作用于失配项，天花板由 harness 决定，低天花板的环境训练无解。

固定模型比跑分是公平评测。 这种比较把环境供给和模型利用混在一起，论文里被它否掉的 harness，换上去再训反而更强。

五、一句话结论

harness 不是包装盒，它是模型一半的老师；老师挑错了，练多久都白练。

顺带一提，代码已随论文开源，复现两项指标的门槛不高。这是背景，不是论文结论。

信息来源

• 论文摘要：策略文件与 agent 接口的决策几何（arXiv），2026 年 10 月 27 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 29 日。