AI百科网 AI教程
具身智能

人形机器人干活前,先记住刚才发生了什么

人形机器人执行搬运任务时,目标物一旦被遮挡或移出视野,只看当下的动作策略就会失败。新预印本给策略加了一段目标物事件记忆,真机成功率从三成七提到八成八。本文讲它的做法和边界。

本文目录 · 6 节

让人形机器人去桌上搬一个杯子,它转身走了两步,杯子被挡住或出了视野——这时候只看当前画面的策略基本就懵了。10 月 22 日的一篇预印本给出的解法朴素得很:动手之前发生过什么,先记下来。

一、发生了什么

论文先点破一个性质:动态场景里的人形移动操作不是马尔可夫问题,线索会随物体变化、被遮挡或移出视野而消失,而现有的全身视觉语言动作策略只看见「现在」。作者提出的方案叫 WholeBodyMem,是一种以目标物为线索的感知记忆:先让分割跟踪模型盯住任务物体,物体上发生过的事件按因果规则挑选关键帧,帧数预算自适应;动作模块再通过交叉注意力读这些帧,配套的物体标记携带外观、几何和时间信息。团队还贡献了一个评测集 HuMeGo,包含六个仿真任务和六个基于宇树 G1 真机的任务。结果在摘要里给得很具体:比起没有记忆和均匀存帧两种基线,新方法把底座策略的成功率在仿真里从 29.1% 提到 72.6%,真机上从 36.7% 提到 88.3%;在通行的标准任务集上也从 70.2% 提到 86.9%。作者强调关键在于「留对帧」,不是「留更多帧」。据论文页面说明,这项工作投稿至 IEEE Robotics and Automation Letters。

补一段背景:视觉语言动作模型是这两年人形机器人的主流技术路线,让模型直接从画面和指令推出全身动作;但它天生只处理当前帧,时序信息基本丢失,各家补法不一,有的堆历史帧,有的加外部状态估计——这段是背景,不是论文结论。这篇论文的立场是历史帧要按物体事件挑,不分轻重地堆帧反而稀释关键线索。

二、跟你有什么关系

做人形机器人落地的人:仓储、巡检这类场景里遮挡和走动是常态,纯反应式策略的上限可能就卡在记忆这一层,评估时要专门设遮挡用例。买机器人方案的人:评估供应商时可以问一句「物体出视野了怎么办」,看对方有没有类似机制,答不上来的演示大概率是剪过片的。关注行业的人:这提示下一轮竞争点不在「看得更清」,而在「记得更对」,记忆模块可能成为动作模型之外的新卖点。

三、怎么判断

读到这儿,可以顺路看 机器人学拧螺丝,为什么要拆成两步教 读完能理解机器人自主拧螺丝为何难:接触密集、发力精细、环境多变。新研究把任务拆成两段三模块,在真机上做到对齐成功率接近熟练工人,做具身操作的人可参考其分步思路。
  1. 拿一段物体被遮挡的任务视频看演示:好的系统应该在遮挡期间仍朝记忆中的位置行动,而不是停在原地。
  2. 问清基线对比里有没有「均匀存帧」这一档。没有记忆和乱存记忆是两种失败,分开看才知道增益来自哪。
  3. 真机数字比仿真数字更值钱。这篇论文两者都报了,差距还在,选型时以真机口径为准。

四、三个别信的说法

多存几帧就是加记忆。 摘要的原话是留对帧胜过留更多帧。均匀存帧的基线提升有限,挑帧的事件因果规则才是增益来源。

这类数字可以跨论文直接比。 六加六个任务的评测集是团队自建的,任务难度没有统一标尺,跨论文比成功率没有意义。

加了记忆就全能了。 真机 88.3% 离满分还有距离,长时序、多物体叠加的场景摘要没有覆盖,别外推。

五、一句话结论

机器人记不住三十秒前发生了什么,再强的动作模型也会在转个身的工夫翻车。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。

关于这篇

本文为编辑整理的行业动态,未附官方原文链接。涉及价格、参数、发布时间的,请以厂商官方页面为准;发现错误可来信指出,会在「本次更新」里注明。

下一站 · 场景实战 OpenAI 自述:怎么建 AI 原生工程组织 OpenAI 把软件生命周期拆成七段,每段写清 agent 干哪一轮、人留哪一步。这篇提炼三条今天能照搬的做法,也标出它没写的那部分。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?