AI百科网 AI教程
AI百科

让模型自己举着相机建 3D 图,最好的只拿 41.71

北大团队发布 SpatialScout 基准,让视觉模型自己控制相机建 3D 图,最强模型平均 IoU 仅 41.71。新题型怎么考、分数差在哪,这篇讲清。

本文目录 · 6 节

过去考「空间智能」的标准姿势是给模型一张图,问沙发在电视左边还是右边。这种题考的是识别,不是空间——答对可能只是靠图文对齐里学到的统计规律,根本没建立起三维坐标。10 月 22 日挂上 Hugging Face 每日论文榜的一项工作,把题型彻底换了:不给选择题,让模型自己举着相机去探索房间。

一、发生了什么

据论文预印本(arXiv 2610.26659)及行业报道,北京大学团队联合天津大学构建了 SpatialScout 基准,代码以 CC BY 4.0 开放。考法是:给模型一张初始 RGB 图、一份物体清单和相机参数,让它用十个工具自己移动相机、拍图、三角化观测、提交每个物体的三维中心,预算是 100 次调用和 100 张图。场景集为 80 个室内场景、共 3140 个目标物体。七个前沿模型同场考试,按官方口径:Claude Opus 5.5 平均 IoU 41.71,已是最高分;GPT-6 Astra 33.16;Claude Sonnet 5.5 32.26;再往下断崖,Qwen3.8 Max 只有 6.80,Kimi-K3 4.22,DeepSeek V4.1 Flash 3.48。分析 40 条轨迹后,最常见的失败不是位置偏,而是漏——34 条失败轨迹里 26 条覆盖不全,干脆没把物体标出来。

二、跟你有什么关系

做多模态模型的研究者:这说明「视觉常识」和「空间能力」是两种能力,选型时榜单分数不能互推。

具身智能从业者:主动探索、多视角关联、几何估计,这套考察正是机器人上楼干活要用的底层能力,基准暴露的短板就是行业短板。

普通用户:暂时感知不到,但机器人管家能不能找到你家的杯子,取决于这类能力什么时候从 41 分涨到 90 分。

三、怎么用

读到这儿,可以顺路看 汤道生预告混元 Hy4:第一次能看图 腾讯在数字生态大会上预告混元 Hy4 正式版,首次加入视觉理解,还会推出主打性价比的 Flash 版。这篇只按预告口径写,讲清升级点、Flash 的定位和该等什么再动手。
  1. 复现成本低,代码开源,想评测自研模型可以直接跑 80 个场景的公开集。
  2. 对比模型时先看「仅对已提交物体」的口径分,Claude Opus 5.5 在该口径下是 46.69,漏标行为对平均分的拖累要看清。
  3. 训练侧可以重点学高分轨迹的共同点:大量多视角几何验证、增量提交、再回头修正,这个工作模式本身就有参考价值。还有个反例值得记:低分模型的通病是频繁挪相机却少建图,无效视角同样消耗上下文,探索要讲效率。

四、三个别信的说法

模型能力强分数就该高。 Qwen3.8 Max 和 Kimi-K3 都是头部模型,在这里只有个位数分数。能力是分维度的,对话和推理的强项不会自动迁移到主动建图。

给模型三角化工具就能解决问题。 论文明确指出,三角化残差低不代表像素标对了目标,21 条轨迹里位置大幅偏差但几何残差依然低。几何管线再精确,也判断不了模型看的是不是那个东西。

分数低说明基准有问题。 探索预算紧、奖励信号少,确实苛刻,但苛刻的考试才照出真实差距,60 分都不到的领域谈不上接近可用。

五、一句话结论

空间智能的及格线还远在前面,会看图不等于会建图,这场考试值得所有做多模态的人盯紧。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 24 日。

下一站 · 具身智能 李飞飞的三次下注,这次她自己答题 AMD 以约 82 亿美元收购 World Labs 后,李飞飞从出题人变成答题人。文中复盘她三次下注的角色差异,并给出判断这笔收购成败的两个观察点。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?