事实全给了，答案还是错的

一道题里有八件物品、三条约束。模型逐件都认对了，最后交出的组合仍然不满足条件。这不是感知问题。

一、发生了什么

论文把这类失败叫「多证据整合缺口」：局部事实的恢复能力，和全局决策的有效性，是两件事。任务被设计成受控的子集选择和路径查找，能逐项检查。

评测手段有五种：给定局部回答正确时的条件表现、同网格的局部提问、文本 oracle 输入（直接把事实用文字给出）、检索控制、约束消融。目的只有一个——把「没读到」和「读到了但没用上」分开。

结果相当刺眼：Gemma-3-27B 在评测的孤立物品事实上全部答对，但在八件物品的视觉实例上，全局有效率只有 19.75%。

作者还做了机制层面的探查：在隐状态上训练探针，能从全局提示的状态里解码出「某个元素是否属于解」的信息；把这些状态做干净的替换，可以在一定深度范围内把失败的决策救回来，而有效深度随模型家族变化。

结论写得很克制：恢复事实、以及表征与解相关的信息，都不足以保证可靠的联合决策。他们呼吁评测和改进要明确针对「证据如何被组合」，而不是继续等感知和规模自己变强。

边界：摘要只点名了一个模型的数字，其余模型的表现没有逐一列出。任务限于子集选择与路径查找两类受控设置，离真实多模态任务有距离。激活替换的有效深度区间「随模型而定」，具体数值要查正文。全文 53 页。

补一点同主题背景。这是背景，不是论文结论：多模态评测长期以最终答案准确率为主指标，这让「感知错误」和「组合错误」混在同一个分数里。过去一年业界在感知侧投入很多，这条路的天花板正越来越取决于后一半。

二、跟你有什么关系

做多模态产品的：你的失败案例里，可能有一半不是「看不清」，而是「组合不起来」。这两类问题修法完全不同。

做 agent 检索链路的：把长上下文当成「给全了就行」，会重复这篇论文里的错误。给全只是第一步。

做可解释性的：探针能读出信息、替换能救回决策，两件事同时成立，说明「表征里有」不等于「计算里用了」。这个诊断方法值得直接借走。

三、怎么判断

1. 先测单点。把每个事实拆成独立小问，全部答对再往下走。答不对是感知问题，答对了还错是整合问题。
2. 再给文本 oracle。把图里的关键事实用文字直接写进提示，如果仍然错，就不必再优化图像编码器了。
3. 做约束消融。一次去掉一条约束，看错误是否集中在某一条上。集中在一条，通常说明模型在「满足多数」而不是「满足全部」。

四、三个别信的说法

「答错就是没看见。」 这篇最硬的证据就是全部认对、仍然答错。把两类失败混在一起归因，会一直在错的地方投入。

「上下文给全就行了。」 信息在上下文里、在隐状态里，和它在决策中被使用，是三件不同的事。

「模型再大一点自然会好。」 作者明确把这条列为不该等的东西：他们要的是明确针对组合过程的评测和改进。

五、一句话结论

多模态的下一个瓶颈不在眼睛，在把看到的东西拼成一个能过全部约束的答案。

信息来源

• arXiv：事实都给全了，视觉语言模型仍然答错（2026-10-24）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。