同一套检索，换个标注集分数就变了

给检索系统打分，分数低未必是系统差，可能是标准答案没标全。10 月 22 日提交到 arXiv 的一篇论文（编号 2610.31606）用一个医疗检索增强生成系统把这件事量化了出来：不碰系统一行参数，只把标注补全，证据命中数就涨了四成以上。

一、论文做了什么

研究场景是乳腺病灶诊疗文献的问答检索：语料 18 篇文档，配套 18 条查询，每篇文档对应一道判断题或一道开放问答。检索端走的是常见组合路线——稠密向量、BM25 关键词匹配，再加一个交叉编码器做重排。作者试了四种检索配置，切块大小在 128 到 1024 个词元之间扫，重叠率从零到两成，用准确率、召回、排名类指标分别打分。

结果本身不稀奇：最优配置是 384 词元切块加两成重叠的混合方案，18 条查询里 17 条在前三个结果里找到了被认可的依据，几项主指标都停在 0.94。顺带说明背景（领域常识，非论文结论）：这类指标看的是系统把正确依据排到多前的位置，检索增强生成的效果上限往往在检索这一步就定了，检索找不到依据，生成端再强也是空转。

真正值得注意的是另一组数字。作者手工补全标注后，可识别的证据片段从 25 个涨到 37 个，可算命中的切块从 36 个涨到 51 个——而检索结果的排序一条都没变。也就是说，系统行为完全一样，只因标准答案变宽了，分数口径就明显不同。标注的松紧，直接决定了这套系统看起来「好不好」。

局限也要交代：这是一个 18 条查询的小型开发集，作者自己强调结论需要独立验证，包括由放射科医生判断证据是否足够。

二、跟你有什么关系

做 RAG 产品的人，选型时如果只看榜单分数，可能选中的只是「标注更宽松」的那个基准，换个评测集排名可能整个倒过来。企业内部做技术验收，同一系统两次评测分数不同，先查标注口径再怀疑模型，省得冤枉工程团队。采购方看到供应商演示的召回率，要追问依据是什么标注集、谁标的、标了几轮。医疗场景尤其要紧：这篇论文讨论的是乳腺病灶诊疗文献，标注质量直接连着临床安全，作者也把放射科医生的独立评估列为后续必须补上的一环。

三、怎么判断

1. 问清标注怎么来的：覆盖多少证据形态、有没有领域专家过目。答案越模糊，分数越要打折看。
2. 自己做两套标注对照：一套从严、一套从宽，排名稳不稳比绝对分数更能说明系统优劣。
3. 评测集要独立于调参过程。论文作者也承认，用检索结果反哺标注的做法有循环风险，需要外部验证兜底。

四、三个别信的说法

「0.94 的召回率说明基本没错误。」 这个数字绑定特定的标注集和切块配置，换一套更严格的依据认定标准，分数会变。

「分数涨了说明系统升级有效。」 如果期间有人动过标注，涨幅可能全部来自口径变化，跟系统无关。

「小数据集跑通的结论能直接推广。」 18 条查询的结论，论文自己都要求独立复验，拿去外推要谨慎。

五、一句话结论

检索评测先审标注再审系统，否则你比的是谁的答案标得宽，不是谁的系统更好。

信息来源

• 标准答案如何影响检索得分论文页（arXiv，2026-10-22）

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。