RAG 答错了，先分清是没检索到还是没读懂

RAG 效果不好，最常见的补救是「再多喂点数据」。但错因至少两种：检索没取回证据，或者证据取回了、模型没读懂。两者要喂的数据完全相反，喂反了更糟。

10 月 24 日的一篇论文给了一个很便宜的分流动作：同一道题，闭卷问一次，开卷再问一次。

一、发生了什么

通用 RAG 迁到专业领域（论文举的例子是医疗），通常只有一堆没标注的文本可用。流行的做法是自训练：让模型自己从领域段落出题、自己给答案，再用往返一致性过滤——遮住答案、只给上下文让它再答一遍，答对才算合格——留下来的拿去微调。

作者盯的是流程里的一个盲点：留下的样本被一视同仁。没人问，这道题学生本来就会吗？给了上下文才会吗？还是给了也答错？如果错，是读不懂，还是上下文里压根没证据。

做法是给每道自生成题做两次探针：闭卷一次，带检索再来一次。按两次对错落进四类——本来就会、给了才会、给了还错、上下文缺证据。每类喂不同训练信号，其中一条专门教模型在检索落空时靠参数知识作答。

探针便宜，每轮都重做，训练配比因此跟着学生当前水平走。四类计数还能当无标注诊断：不用标数据，光看分布就知道领域差距卡在哪。

实验规模：11 个数据集、三个领域，主干是 40 亿参数的 Qwen3；另在 CS-Bench 上换 80 亿参数版本。同等预算下比对照的自训练方法高 1.2 到 6.4 分；在「检索反而拖差基座」的每个案例里，它是唯一把闭卷水平找回来的方法。

还有一个消融值得单独说：往返过滤会把「上下文里没答案」的样本删干净，于是模型从没见过这类上下文，会学成过度信任噪声检索。

做 RAG 应用的：多数失败不是模型不行，是两类错混在一个指标里。分开之后能改的地方立刻少一半。

做领域微调的：自训练数据不是越多越好，配比错了等于在教模型自信地犯错。

做检索工程的：它给你一个不用标注就能证明「检索侧是瓶颈」的办法，汇报时好用。

先做四格诊断，别先动模型。 抽一批现有问题，每题跑两遍：不带检索、带检索。按对错落进四格，出直方图。一天能做完，不用标注。
读直方图定优先级。 「上下文缺证据」占比高，去修切分、召回、查询改写，调提示词没用；「给了还错」占比高，问题在阅读器和上下文组织；「本来就会」占比高，说明这批题对你的模型没信息量，换题。
按格子分配训练信号，别平均加权。 本来就会的降权或只做保持，两类失败各自加权。平均加权等于用简单样本的收益抵消困难样本的损失。
检查过滤器有没有把「检索失败」删光。 清洗规则若要求「上下文必须含答案」，你就在系统性删掉最能教模型说「没找到」的样本。留一部分。
每轮重跑探针。 学生变强后四格比例会变，配比要跟着变；固定配比只在第一轮对。
上线后拿它当监控。 直方图从「检索错为主」漂到「整合错为主」，说明该修另一头了。

「RAG 效果差就加数据。」 加错方向的数据会让模型更自信地错。先分格，再加。

「往返一致性过滤是安全网。」 这篇的消融说它同时是偏差源：筛掉了所有「上下文不含证据」的样本，等于让模型从没练习过检索失败。

「高 1.2 到 6.4 分就是全面更强。」 那是同等预算下、对同一对照方法的比较。换主干、换领域都要重测；摘要也没给逐数据集细账。

修 RAG 的第一步不是加数据，是拿一次闭卷、一次开卷，把「没检索到」和「没读懂」分开——这两件事的补法正好相反。

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。