#视觉语言模型
共 4 篇
双手机器人搞砸了,先搞清哪只手晚了一步
双臂工具任务的失败类型和单臂完全不同:工具滑出、两只手各做对了但时机错开、甚至两个原因同时出现。这篇论文在仿真里逐通道测诊断能力,还发现 VLM 内部状态其实知道哪只手迟到,只是答不答得出来取决于提问措辞。
看不见的零件,靠摸来定位
图片看不出抽屉卡在哪、要用多大力。这篇论文让视觉语言模型先猜每个活动件的运动规律,再把触觉当成随时可以推翻猜测的证据,新厨房里完成任务比例到 80%。
给机器人用的 VLM,先补推理数据
主流视觉语言模型在三件很笨的事上会翻车:给打乱的画面排序、按远近排物体、按左右排位置。这篇论文用自动生成的数据做微调,两类训练都有效,方法可以照着搭。
机器人做没做成,交给一个开源裁判
一个 27B 的开源模型专门判断机器人有没有完成任务:同型号机器人上 95.2% 平衡准确率,换实验室掉到 0.89 AUROC,单次要 0.26 秒。讲清判分器什么时候可信。