让模型自己举着相机建 3D 图,最好的只拿 41.71
北大团队发布 SpatialScout 基准,让视觉模型自己控制相机建 3D 图,最强模型平均 IoU 仅 41.71。新题型怎么考、分数差在哪,这篇讲清。
过去考「空间智能」的标准姿势是给模型一张图,问沙发在电视左边还是右边。这种题考的是识别,不是空间——答对可能只是靠图文对齐里学到的统计规律,根本没建立起三维坐标。10 月 22 日挂上 Hugging Face 每日论文榜的一项工作,把题型彻底换了:不给选择题,让模型自己举着相机去探索房间。
一、发生了什么
据论文预印本(arXiv 2610.26659)及行业报道,北京大学团队联合天津大学构建了 SpatialScout 基准,代码以 CC BY 4.0 开放。考法是:给模型一张初始 RGB 图、一份物体清单和相机参数,让它用十个工具自己移动相机、拍图、三角化观测、提交每个物体的三维中心,预算是 100 次调用和 100 张图。场景集为 80 个室内场景、共 3140 个目标物体。七个前沿模型同场考试,按官方口径:Claude Opus 5.5 平均 IoU 41.71,已是最高分;GPT-6 Astra 33.16;Claude Sonnet 5.5 32.26;再往下断崖,Qwen3.8 Max 只有 6.80,Kimi-K3 4.22,DeepSeek V4.1 Flash 3.48。分析 40 条轨迹后,最常见的失败不是位置偏,而是漏——34 条失败轨迹里 26 条覆盖不全,干脆没把物体标出来。
二、跟你有什么关系
做多模态模型的研究者:这说明「视觉常识」和「空间能力」是两种能力,选型时榜单分数不能互推。
具身智能从业者:主动探索、多视角关联、几何估计,这套考察正是机器人上楼干活要用的底层能力,基准暴露的短板就是行业短板。
普通用户:暂时感知不到,但机器人管家能不能找到你家的杯子,取决于这类能力什么时候从 41 分涨到 90 分。
三、怎么用
读到这儿,可以顺路看 汤道生预告混元 Hy4:第一次能看图 腾讯在数字生态大会上预告混元 Hy4 正式版,首次加入视觉理解,还会推出主打性价比的 Flash 版。这篇只按预告口径写,讲清升级点、Flash 的定位和该等什么再动手。- 复现成本低,代码开源,想评测自研模型可以直接跑 80 个场景的公开集。
- 对比模型时先看「仅对已提交物体」的口径分,Claude Opus 5.5 在该口径下是 46.69,漏标行为对平均分的拖累要看清。
- 训练侧可以重点学高分轨迹的共同点:大量多视角几何验证、增量提交、再回头修正,这个工作模式本身就有参考价值。还有个反例值得记:低分模型的通病是频繁挪相机却少建图,无效视角同样消耗上下文,探索要讲效率。
四、三个别信的说法
模型能力强分数就该高。 Qwen3.8 Max 和 Kimi-K3 都是头部模型,在这里只有个位数分数。能力是分维度的,对话和推理的强项不会自动迁移到主动建图。
给模型三角化工具就能解决问题。 论文明确指出,三角化残差低不代表像素标对了目标,21 条轨迹里位置大幅偏差但几何残差依然低。几何管线再精确,也判断不了模型看的是不是那个东西。
分数低说明基准有问题。 探索预算紧、奖励信号少,确实苛刻,但苛刻的考试才照出真实差距,60 分都不到的领域谈不上接近可用。
五、一句话结论
空间智能的及格线还远在前面,会看图不等于会建图,这场考试值得所有做多模态的人盯紧。
信息来源
- 行业报道:前沿视觉模型在主动 3D 建图上的成绩(2026-10-23)
- 论文预印本 arXiv 2610.26659(2026-10-22)
功能与价格以官方公告为准。本文写于 2026 年 10 月 24 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。