长任务机器人，奖励要按因果给

一个支架被机械臂放进了底座，末端回到起点，相机里零件也确实在位置上，但螺丝一颗没拧。自动打分器给了 0.9 分。这类"看起来完成了"的假成功，是长任务训练里最贵的一种错误：它不会报错，只会让策略学会跳过最难的中间步骤。

一、发生了什么

10 月 24 日提交到 arXiv 的一篇论文（编号 2610.33863）针对的正是这件事。它提出的框架核心主张是"因果一致"：奖励的进展必须和执行历史所能支撑的前置条件对齐，而不是和画面好看程度对齐。

具体做法有三块。第一块是阶段重排监督，把完整演示切成片段后重新排列，喂给模型当负样本，逼它对执行顺序敏感。第二块是循环记忆，让奖励模型跨时间窗看到更早的交互证据。第三块是两轮训练，第二轮用模型自己预测的进展重新切分轨迹段，再修一遍。

策略侧是分阶段的：先用行为克隆起步，再到在线强化学习。还有一个机制值得注意——同一个任务连续出现高分却失败的情况时，用稀少的终局反馈触发一次奖励修正。

数字方面：用 88 个公开仿真操作任务、加一批真实机器人采集的数据做预训练，在 18 个被排除在奖励预训练之外的长任务上，平均成功率 31.8%，比论文里最强的对比基线高 9.2 个百分点；四个真机任务合计 57.5%，比对比方法高 32.5 个百分点。

边界要说清：这些是作者自述的结果。那 18 个任务只是被排除在奖励预训练之外，"没参与训练"和"零样本"不是一回事，别把 31.8% 当成换任务直接能用的水平。

二、跟你有什么关系

做机器人训练的人：奖励模型的输入窗口是设计变量，不是实现细节。这篇的价值在于把"窗口开多大、记多久"变成了可消融的项。

做装配、检修这类工序的人：你的任务天然有强前置条件——先定位、再对孔、再拧紧。任何只看最终画面的验收方式，都会在你这儿失灵。

写论文的人：把过程奖励的老问题重述成"历史条件下的因果一致"，是一个能立住的问题定义，比再刷一个成功率数字更容易被记住。

三、怎么判断

1. 先写前置条件清单。把任务拆成"必须先发生什么"，一条一条列出来，每个条件造一个故意漏掉的负样本。
2. 用奖励层指标验收，不要只看成功率。论文自己报告了对顺序扰动的分辨能力，这类对照能直接告诉你奖励模型是不是在学捷径。
3. 上线前测"高分失败率"。跑二十次，数一数打分高于阈值但人工判失败的次数。这个数字比平均成功率更能预测现场事故。

四、三个别信的说法

「31.8% 已经可以用了。」 这是一批专门挑出来的长序列任务，31.8% 只是平均值，摘要没给逐任务的分布。装配线上的节拍和容错要求，和实验设置差得远。

「奖励模型越准，策略就越强。」 分阶段给分天然偏爱"多做几步"的执行，更准的奖励也可能把策略引向冗长的路径。成功率涨了不代表动作变干净了，两条要分开看。

「打乱片段就等于教会模型顺序。」 重排会留下边界线索，模型可能学会认接缝而不是理解因果。论文也承认，这种扰动对照只覆盖被测试的那类扰动，不构成完整验证。

五、一句话结论

长任务里最危险的不是失败，是"看起来成功"；奖励必须先认历史，再认画面。

信息来源

• arXiv 论文页：面向长任务的因果一致奖励（2026-10-24）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。