幻觉(Hallucination):它为什么能编得那么像真的
不是"记错",是"生成了一段格式完美但不存在的文字"。词条版,附五类高危问题。
一句话定义:幻觉指模型生成了语法通顺、格式规范,但事实不存在或与来源不符的内容。
一个比喻:像一个从没去过那个城市的人,凭照片和攻略给你画了一张地图——街道名、路口、公交站都画得有模有样,但有一半是错的。
为什么会发生
模型的训练目标是"预测下一个最可能的词",不是"说真话"。
所以在它没有知识的地方,它不会停下来,而是用语言习惯补一个最像的。格式越固定、越常见的东西(参考文献、法条编号、人名职务),越容易被补得天衣无缝。
五类高危内容
- 数字:统计值、比例、价格、时间
- 出处:论文、书名、作者、期刊、页码、网址
- 法条与标准:条款编号、标准号、生效日期
- 时间与人:谁在什么时间担任什么职位
- 原话引用:某人说过的具体一段话
这五类之外,让它做归纳、改写、列提纲,风险低得多。
怎么识别
- 它太流畅了。 越是没有真实素材支撑的段落,越容易写得顺——因为没有具体细节要照顾。
- 追问细节会露馅。 要它给来源链接,再问链接里的具体内容。真来源能一路说下去,编的会开始绕。
- 反常识的结论要查。 它可能对,也可能是幻觉,两种情况都必须核。
怎么降低
1. 凡是你不能确定的,直接写"不确定",不要猜。
2. 凡是引用,必须给出可核查的来源名称;给不出来源,就不要引用。
3. 数字若来自我提供的材料,标注"来自原文";若是推断,标注"估算"。
4. 不要为了把话说圆,补全我没提供的信息。
第 2 条最有效——它把"不要编造"变成了一个可执行的动作。