机器人做没做成，交给一个开源裁判

叠衣服是最难自动判分的一类活。袖子塞进去了、领口没翻、两只袜子叠成了一坨——画面上全是"接近完成"的中间态，人类看一眼能分辨，机器打分器经常给不出结论。更麻烦的是，很多机器人视频压根没标它到底成没成。

一、发生了什么

10 月 24 日上线的这篇论文（编号 2610.33718）做的是一个专用裁判：给它任务指令、一段操作里的十帧画面，如果有多机位就再给辅助相机的末帧，它输出"成功/失败"两个概率，一次前向就出结果。

底座是一个 27B 的视觉语言模型变体。训练方式很省：只在语言模型那侧挂低秩适配器，视觉编码器完全冻住，用了五万两千多条回合记录。作者还加了一项按数据来源区分的约束，让它在研究数据上尽量贴近原模型的判断，避免被混合数据带偏。

结果分三档看比较诚实。同一款开源桌面机械臂留出的 268 条回合上，平衡准确率 95.2%，AUROC 0.993。换到没见过这套硬件、没见过这些实验室的 459 条回合，AUROC 掉到 0.890——而那个没微调过的底座模型在同一子集上是 0.900，也就是说跨域这一项并没有赢。社区自采、标签清楚的 135 条上，准确率 93.3%。

成本方面：单张 H100 上每条回合推理中位数 0.26 秒，按每小时 2.69 美元折算，一千次判断约 0.19 美元，不含视频处理和推理服务开销。作者还公开了两万条预测、29 组模型与协议的组合，方便别人复现对比。

二、跟你有什么关系

做数据闭环的：你们的"成功"标签如果来自系统自己写的日志，等于没有真值。这类独立裁判是把日志变回真值的最低成本方案。

做评测的：跨实验室指标必须单独报。0.890 这个数字说明换个机身、换个机位，判分器会退化成"看着像"。算成本时也别只看 0.19 美元一千次的单价——抽帧、解码、多机位对齐这些环节论文明确排除在外，真跑起来它们往往比模型本身贵。

做部署的：判分器不是安全措施。它只能告诉你这次像不像成功，不能替你决定要不要继续跑。

三、怎么判断

1. 先在你的机型上测一遍，别用论文的数字。哪怕同一款机械臂，相机位置一换，分布就变了。
2. 看平衡准确率，不看准确率。失败样本稀少时，一个永远输出"成功"的模型准确率也能很高。
3. 抽 50 条人工复核，专门挑失败案例。作者也承认，和商用大模型的对比不是同条件——对方只吃了四帧单相机画面，输入信息量本来就少。

四、三个别信的说法

「95.2% 说明判分问题解决了。」 这个数字来自同型号机器人的留出集，是同分布测试。真正决定能不能用的是跨域那一栏，而那一栏它没赢过底座模型。

「开源权重就等于可复现。」 权重、推理代码、预测记录都放了，但训练数据和标注流程没有同等程度地开放。换个场景要重训时，你会卡在数据上。

「有了裁判就能自动训练。」 判分器给出的奖励是二值的、有延迟的，直接拿去当强化学习信号，会放大它对"中间态"的偏好。它更适合当验收和筛选工具，不适合当唯一奖励源。

五、一句话结论

判分器的可信度不是一个大数字，而是"换台机器人之后它还准不准"。

信息来源

• arXiv 论文页：开源的机器人任务成功判定模型（2026-10-24）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。