答对了不够,得把证据也拿回来
多数知识图谱 agent 只管把答案说对,不管有没有顺手把支撑证据取回来。一篇新论文把证据写进训练数据和奖励函数,让 3B 到 4B 的小模型在准确率和证据覆盖率上压过大模型。
答案对了,审计却过不了——因为你拿不出「这个答案是怎么查出来的」。对要上生产的 agent 来说,这比答错更难收拾。一篇新论文专门治这个病:训练知识图谱 agent 时,把证据 retrieval 当成一等公民,结果小模型干翻了大模型。
一、发生了什么
arXiv 10 月 27 日挂出的这篇论文先指出现状的漏洞:知识图谱对 agent 其实有两个身份——既是答案的来源,补上模型不知道的事实;也是证据的来源,能提供让答案可追可审的支持三元组。但现有的图谱 agent 只当它是答案库:训练数据里有答案没证据,奖励函数只验答案不验查证过程,于是模型经常答得对、却没把支撑材料带回来。论文提出的框架(缩写 FoG)从三处动手,思路环环相扣:造数据时把明面上的实体藏进一连串可验证的子问题里,让每道题在构造上就自带答案的三元组;agent 记录图谱每轮返回的关系,留给后面的评分用;奖励上用「证据覆盖」的过程评分——每条支撑三元组记在第一次取到它的那一轮头上,查证过程本身被计酬。在三个知识图谱问答基准上的实验显示:这套做法让 3B 到 4B 的开源模型在答案准确率和证据覆盖两项上都明显超过大得多的基线模型,而且换一个图谱不用重训也能迁移。
二、跟你有什么关系
做企业知识库和 RAG 的。 「答案 + 证据」是内部审计和客户投诉时的保命配置。这篇说明证据覆盖是可以被训练出来的行为,不一定要靠事后追加校验层——把激励放对位置,比打补丁便宜。
预算有限的小团队。 3B–4B 模型压过更大的基线,说明把奖励设计对,比堆模型参数更划算,这张账对小团队友好——先改奖励,再考虑换模型。
做 agent 评测的。 只评最终答案的评测集在漏测半个能力面。把「是否带回三元组」加进评分,你的榜单会和真实审计需求对齐。
三、怎么用
读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。- 盘点你的 agent 训练数据:每条样本里答案和证据是不是成对出现?只留答案的样本先补上证据链再用。
- 改奖励或打分逻辑:对「查证动作」单独计分,而不是只给最终答案打分,让取证据这个行为有钱赚。
- 评测时加覆盖率指标:统计答案背后拿回了多少条支撑三元组,和准确率并排报。只报准确率的评测,看不到检索侧的塌方。
四、三个别信的说法
「答案准确率高就够了」。 论文开头那句话值得抄在工位上:正确不等于有支撑。在合规场景里,无证据的正确答案过不了审计。
「证据链让小模型太慢、不划算」。 实验里小模型在覆盖证据的同时准确率也赢了,慢和准之间没有论文支持的取舍。
「换图谱就得重新训练」。 零样本跨图谱迁移是实验明确展示的能力,把图谱换掉框架照跑,迁移成本没那么可怕。
五、一句话结论
能被审计的答案才是能上生产线的答案,证据要从训练那天就跟着答案走。
信息来源
- arXiv:训练知识图谱智能体取回答案背后的证据,2026 年 10 月 27 日
功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。