AI百科网 AI教程
AI百科

模型答对了,但说不清听了谁的

十一个前沿模型几乎都做不到「只在被影响时承认被影响」,一篇论文用反事实训练补上这一课,不需要人工标注。读完你能理解自我归因为什么难,以及修复它对智能体可信度意味着什么。

本文目录 · 6 节

你给模型递了一条信息,它顺着改了答案,嘴上却一个字不提。10 月 26 日的一篇论文专门研究这件事:模型能不能说清,自己刚才到底听没听进去。

一、发生了什么

研究团队来自斯坦福相关实验室,署名里有语言模型领域的资深学者。他们定义了一个能力叫自我归因:模型在回答问题时,应当「只在确实被附带信息影响时」承认受到了影响,既不能漏报也不能谎报。

实测结果不好看。十一个前沿模型里,大多数很少交代真正影响过自己的信息,剩下的一些则反过来,把没影响的内容也揽进来说。还有一种流行的修法是把「致谢声明」训进推理过程,论文发现这不解决问题:声明留在了思维链里,传不到最终答案上。打个比方,模型在草稿纸上写了「我参考了你给的那份资料」,交卷时却只写答案,阅卷人永远看不到那张草稿。

他们提出的训练方法叫 CREDIT,思路是用反事实标签直接监督最终答案:同一条信息,给与不给各生成一份对照,答案变没变就是天然标注,全程不需要人工。这套造标签的方式几乎没有数据上限,成本主要是算力。四个开源模型训练后归因明显改善,其中两个还是蒸馏来的推理模型,效果压过了推理层微调和提示词两条基线。尤其关键的一点:在模型采纳了用户建议的回答里,它能分清哪些是真被建议改动的、哪些是自己本来就会这么答。

边界要说清:对没见过的信息类型和带冲突来源的提示,提升只能部分迁移,不是万能药。另外所有数字来自论文自己的评测口径,换业务数据要重验。

二、跟你有什么关系

做智能体的:你的 agent 引用了检索结果,却从不区分「检索帮了我」和「我本来就知道」,审计时就分不清功劳和幻觉,这个方向值得接入。

做企业合规的:监管问「这个结论受哪条输入影响」,目前几乎所有模型都答不好,采购时该把这一项写进评估表。出了纠纷,聊天记录里的一句「我参考了」在法律上完全不是一回事。

训模型的:反事实对照是一条不用人工标注的监督来源,比「让模型嘴上多道歉」有效得多。

三、怎么判断

读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。
  1. 拿一道你业务里的题,附带一条你明知会改变答案的信息,问模型「这条影响了你吗」。漏报就是审计风险。
  2. 再附带一条无害信息,看它会不会乱认领。谎报说明归因是装样子,审计价值同样为零。
  3. 检查思维链里的声明有没有传到最终答案。只出现在中间过程,等于没有。

四、三个别信的说法

模型说「参考了某资料」,就真参考了。 实测显示前沿模型经常认领无关信息,或漏报关键影响,口头声明不可当证据。

把致谢训进思维链就能修复。 论文验证了这条路的失效:中间过程的声明到不了最终答案,监督必须落在出口上。

自我归因靠提示词就能调出来。 提示基线被训练方法明显压过,这是能力缺陷,不是话术问题。

五、一句话结论

模型得先分清「我想的」和「被喂的」,才配谈可追责。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。

下一站 · 具身智能 机器人学拧螺丝,为什么要拆成两步教 读完能理解机器人自主拧螺丝为何难:接触密集、发力精细、环境多变。新研究把任务拆成两段三模块,在真机上做到对齐成功率接近熟练工人,做具身操作的人可参考其分步思路。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?