同一份证据放前放后，长文本问答的答案会变

同一份长文档、同一个问题，只把含答案的那段挪个位置，模型的回答就变了。这不是玄学，是位置偏见。10 月 22 日挂出的一篇论文，第一次把这件事放在不同架构家族之间做了系统对比。

一、发生了什么

研究者的做法很直接：把一条含有标准答案的文档，在一组固定干扰文档里来回移动，看模型什么时候答得对。被比较的是三个架构家族：Transformer、状态空间模型，以及两者的混合形态。主要发现有四条。一，被测的 Transformer 表现出开头偏好，被测的状态空间模型没有这种偏好，但两个家族都偏爱放在末尾的证据。二，一对同规模的纯态与混合 Mamba 对照方向一致，不过统计上还不能确定。三，家族差异只出现在有能力答对任务的模型之间，能力不够时谈不上位置规律；换语料会整体改变准确率，但曲线形状不变，而改提示词却能制造出、也能几乎抹掉开头偏好。四，即便响应曲线不同，证据位置信息在各架构内部始终可解码，而且注意力向开头token集中与开头敏感度同步变化。作者明确说这些是探索性结果：上下文用得好不好，取决于架构家族、能力、任务和提示四件事，没有把序列混合器定为唯一原因。

二、跟你有什么关系

做检索增强应用的人：证据切分和排布不是中性操作，怎么摆直接影响答案。做模型选型的工程师：架构不同，位置敏感的形态不同，一份评测报告不能跨架构照抄。做长文本评测的人：固定证据位置跑分，可能只是在测位置偏见而不是能力。

这是背景，不是论文结论：位置偏见最早是在 Transformer 上被广泛讨论的，典型表现是模型对上下文开头和结尾的信息用得好、对中间段落容易漏，业内常拿「在大堆文本里插一根针再考模型」来演示这一点。后来出现的线性注意力、状态空间等新架构，宣传里常把长文本处理当卖点，但它们处理位置信息的方式与注意力机制完全不同，偏见的形态是否一样，此前缺少跨家族的系统对照。这篇论文的价值就是把对照做齐了，同时把话说得很克制：同一张曲线背后未必只有一个原因。

三、怎么判断

1. 给自己的应用做个便宜的自查：同一条证据放到开头、中间、结尾各跑一遍，看答案稳不稳。
2. 关键证据尽量放上下文两头，中间位置最容易被吃掉——这是实用经验，不是论文结论。
3. 看评测报告时留心证据位置有没有固定，固定了就要警惕结论被位置主导。

四、三个别信的说法

位置偏见是 Transformer 独有的老毛病。这篇论文显示各家族都有位置敏感性，只是形态不同，状态空间模型同样偏爱末尾证据。

换个新架构位置偏见就自动消失。作者没有把序列混合器定为唯一原因，任务、能力、提示同样在起作用。

开头偏好说明模型真的在精读开头。注意力向开头token集中只是与敏感性共变的机制线索，解释成理解能力属于过度发挥。

五、一句话结论

长上下文里证据摆哪儿，和证据写了什么一样重要，评模型先把位置变量控制住。

信息来源

• arXiv：长上下文问答中不同序列混合器的证据位置偏见（2026-10-22）

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。