AI 会一本正经地胡说:幻觉是怎么来的,怎么识别
它不是"记错了",是"编了一个最像的"。附 5 类高危问题清单和一套 30 秒核查法。
你问它"这篇论文的作者是谁、发表在哪一年",它给出一个名字、一个期刊、一个页码,格式完美,语气笃定。你去查,查不到。这篇论文根本不存在。
这就是幻觉(Hallucination)。要理解它,得先理解它的工作原理:它不是从数据库里取答案,它是在预测"接下来最可能出现什么词"。
一、幻觉不是 bug,是机制
模型的训练目标是"预测下一个词",不是"说真话"。所以在它不知道答案的时候,它不会停下来,而是会根据语言习惯,生成一个语法上最通顺、格式上最像样的东西。
这解释了几个反直觉的现象:
- 越冷门,越容易编。 大众话题它见过很多遍,冷门领域它只见过零星片段,只能靠拼。
- 越规整,越危险。 参考文献、法条编号、ISBN、人名职务,这些有固定格式的东西最容易被编得毫无破绽。
- 越自信,越要查。 它编的时候和它答对的时候,语气完全一样。它没有"不确定"的表情。
二、五类高危问题,必须核
把这五类背下来,比记任何技巧都有用:
- 数字:统计值、增长率、市场规模、价格。
- 出处:论文、书名、作者、期刊、页码、网址。
- 法条与规范:条款编号、标准号、生效日期。
- 时间与人:谁在什么时间担任什么职位。
- 原话引用:某人说过的一段话。
这五类之外,让它做归纳、改写、列提纲、给框架,风险低得多——因为那些不依赖精确事实。
三、30 秒核查法
拿到一段可疑内容,按这个顺序过一遍:
1. 有没有具体数字?→ 逐个数搜一遍
2. 有没有引用来源?→ 把标题粘进搜索框,看能不能搜到
3. 有没有"某某研究表明"?→ 让它给出研究名,给不出就是编的
4. 是不是在讲时效性内容?→ 打开联网,或自己搜
5. 结论是否反常识?→ 反常识的往往对了,也往往是幻觉,必须查
第 3 条有个技巧:要求它给出来源,然后追问"这个来源的链接"。 编造的内容在追问细节时会露馅——真来源能一路说下去,编的会开始绕圈子,或者改口。
四、从提示词层面降低幻觉
有三个写法确实有效:
【关于事实】
1. 凡是你不能确定的,直接写"不确定",不要猜。
2. 凡是引用,必须给出可核查的来源名称;给不出来源,就不要引用。
3. 数字如果来自我的材料,请标注"来自原文";如果是你推断的,标注"估算"。
4. 不要为了把话说圆而补全我没提供的信息。
第二句是关键。"给不出来源就不要引用",比"不要编造"有效得多——前者是它执行得了的动作,后者是它做不到的自我约束。
五、什么时候可以不管幻觉
做这三类事,可以放松:
- 改写你自己的文字(材料是你给的,它只换表达)
- 列框架、给思路(本来就不承诺事实准确)
- 做头脑风暴(要的就是发散,不要求真)
反过来说,只要产出会被别人当成事实看,就必须核。 写报告、发文章、给客户方案、做课件,全在此列。
三个常见错误
- 以为"换个更强的模型"就没幻觉了。 更强的模型幻觉更少,但不是没有。它只是编得更像真的。
- 拿它当裁判。 "你确定吗?"它会道歉然后改,改完可能还是错的。它的自我怀疑没有任何信息量。
- 用它核查它自己。 同一个模型自查,往往沿用同一套错误。要核,就换来源,或者换一个不同公司的模型交叉问。