第一视角数据，能跨机型复用吗

分拣线上换一台机械臂，最心疼的不是硬件钱，是之前攒的那批示范数据。换臂展、换夹爪、换相机，动作空间的含义全变了，数据几乎从头再来。而人类自己拍的第一视角视频是海量的——做饭、拆快递、整理桌面，里面全是抓取和放置。问题只有一个：人手和机械臂不是一个东西。

一、发生了什么

10 月 24 日的这篇论文（编号 2610.33685）就是冲这个缺口去的。它的判断是：从"动作执行"的角度看，人手和机器人共享同一批基本动作——伸手、抓住、放下；差别在于运动学，也就是关节怎么连、能怎么转。

据此它做了一个分解式的潜在动作表示。同一段人类视频，被拆成两部分：一部分是所有本体都能用的操作先验，另一部分是人类特有的运动习惯。预训练时只让前一部分进入策略学习，后一部分被显式地隔开，避免机器人去模仿人手腕的翻转方式。

论文的说法是：因为用的是共享动作空间，机器人能从多样的人类演示里学到可迁移的操作语义，而不被人类运动学带偏；同一份预训练对平行夹爪和灵巧手都有用。验证放在三个地方——一个仿真双臂操作基准、一个以人形机器人为对象的家居操作基准，以及真机操作任务，结论都是相对"不做预训练"的基线有一致提升。

需要注意，摘要没有给出具体数值，也没说提升了多少个百分点。提升幅度这一项，得等正文或第三方复现。

二、跟你有什么关系

做数据采购的：第一视角人类视频是目前最便宜的操作数据来源，单价远低于遥操作。这篇的意义不是"可以用"，而是告诉你哪一部分能用、哪一部分要丢掉。

做灵巧手的：夹爪和灵巧手共享同一份预训练，这件事在工程上很值钱——你不必为每个末端执行器单独攒一套数据。

做产品选型的：如果你在评估"先买臂还是先攒数据"，这篇提供了一个中间路线：先用公开的人类视频打底，再用少量本机数据做后训练。

三、怎么判断

1. 先确认你的动作空间能不能对齐。分解的前提是两边能映射到同一套基本动作；如果你的机器人做的是吸盘贴附这种人手没有的动作，先验的迁移价值会打折。
2. 用"零人类数据"做对照。验收时要求报告两组：只用人类视频预训练的成绩，和完全不用预训练的成绩。中间那些混合配比容易掩盖真实收益。
3. 看灵巧手那一路。如果你的末端是多指手，重点看人类手部姿态被抑制后，抓取是否还稳——这是分解是否成功的最直接证据。

（补一段背景，不算论文结论：第一视角人类视频这条路走了好几年，早期做法是直接从视频里回归关节角，失败的主要原因是人手自由度和机械手对不上；后来的主流思路改成学潜在动作、再用少量机器人数据对齐。这篇的位置是在"分解"这一步上做细化。）

四、三个别信的说法

「人类视频可以替代机器人数据。」 论文的对照是"有预训练 vs 没预训练"，不是"人类数据 vs 机器人数据"。真正落到产线，最后一公里的本机数据仍然少不了。

「跨本体就是同一个模型通吃。」 分解表示恰恰说明两边的差异是真实存在的，只是被隔离了。忽略这层隔离、直接混训，通常会把人类的抖动学进去。

「三个基准都涨，说明通用。」 三个基准里两个是仿真，真机任务的具体设置摘要没展开。仿真里的提升幅度，不能直接换算成现场成功率。

五、一句话结论

人类视频不是免费的机器人数据，它是半成品——要先拆掉人手那一半，剩下的一半才好用。

信息来源

• arXiv 论文页：第一视角跨本体预训练框架（2026-10-24）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。