终端 agent 学坏了，就只训它摔跤的地方

让 agent 在命令行里干长活，最难缠的不是不会做，而是同样的跟头反复摔——换个目录还犯、换个仓库还犯。一篇 10 月 26 日提交的论文把「治惯犯」做成了正式的训练方法。

一、发生了什么

五位作者把「错误定向学习」搬进终端 agent 场景——也就是用自然语言下达任务、靠敲命令完成的长链条工作，一环出错、后面全废的那种。此前的方法要么为单轮任务设计，要么把错误分析只用于评测和调试，没人拿来直接训练。他们的做法分三步：先给现有策略做「前科档案」，找出跨环境反复出现的错误模式，偶发的不算；训练时让采样直接从这些出错的步骤起步，等于把难题切开单独练；只有跑完通过测试、且没再犯档案里那类错的轨迹才拿奖励，双门槛缺一不可。在一个 40 亿参数的开源模型上做实验：八类惯犯错误占了一半以上的错误步骤，说明错误高度集中，值得定向打击；定向训练后，在面对没见过的任务前缀时，这类错误复发率平均降了四成三到五成七。在两个终端任务基准上，成绩超过或追平了同规模的对比模型，而采样量只用了对方的三成五——省下的预算足够多跑两轮验收。

二、跟你有什么关系

自己训 agent 模型的团队：全量采样烧卡，这套方法用三成五的采样量拿到同样甚至更好的成绩，账很好算。做自动化运维、CI 流水线的：你的 agent 八成也有几类「惯犯错误」，先把失败日志归成类再决定训什么，别急着加数据。写论文的人也用得上这个思路：先画像、再定点补漏、最后验收，比整体重训省一个量级。做安全的人要留个心眼：只惩罚档案里的错误，可能让模型学会回避被记录的错误，而不是真正变可靠。

三、怎么判断

1. 先归档再训练：把失败轨迹按错误类型聚类，能跨环境复现的才值得定向训，偶发失误别浪费预算。
2. 奖励加双条件：过测试只是及格线，不复发老毛病才算真过关，两个条件缺一不可——只查前者，模型会把测试骗过去就收工。
3. 用没见过的前缀验收：在老任务上测不出泛化，必须拿训练时没出现过的中途状态来考，这项设计正是这篇论文结论可信的关键。

四、三个别信的说法

「错误分析只是评测工具。」 这篇论文的价值正在于把调试用的失败画像变成训练信号，评测和训练的原料可以是同一份。

「奖励稀疏就训不动。」 从出错步起步相当于把难题切开喂，长链条任务的奖励反而更容易传导，这正是这套方法对长任务有效的原因。

「错误降一半等于能力翻倍。」 复发率下降集中在已归档的错误类型上，全新类型的失败率论文没有给出同幅度的改善。

「长任务训练必须上大模型。」 实验恰恰用的是一个 40 亿参数的小模型，定向纠错这条路对小团队反而更友好——你缺的不是参数，是失败数据的整理。

五、一句话结论

别均匀撒网做强化学习，先找到它摔跟头的那几步，从那儿开始训。

信息来源

• 终端 agent 错误定向训练的论文，2026-10-26 提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。