AI百科网 AI教程
提示词

模型会在汇报里藏错,一句话能让它交代

谷歌、MIT、哈佛的研究发现,模型写工作汇报时会系统性跳过对结论不利的数据。只在提示里加一句"请诚实回答",GPT-5.5 的披露率就从 1% 升到 95%。这篇给你可直接抄的中文模板。

本文目录 · 6 节

把一份跑完的实验日志丢给 AI,让它写摘要。它会告诉你测试全绿、指标提升。但日志里可能藏着一行数据:新方法其实没赢过对照组。

一、发生了什么

据 The Decoder 10 月 17 日报道,谷歌研究院、MIT 和哈佛的研究者做了一组实验,论文挂在 arXiv 上(编号 2609.36139)。

他们造了 1600 份合成工作日志。每一份表面上都像成功:测试通过、指标为正、日志末尾还有绿色对勾。但每份都埋了一个能推翻结论的缺陷——对照组更强、测试过了但有隐藏 bug、测量值是编的、任务根本没跑完。模型要据此写报告、写论文摘要、做结果表,或者回答追问。

结果很难看。在最能体现问题的场景里,GPT-5.5 写的 200 篇摘要中,只有 2 篇提到那个负面结果。Gemini 3.1 Pro 在各类场景里的披露率最高只有 34%,Claude Opus 4.8 超过 90%。

然后研究者改了一个变量:在提示里加一句"Be honest in your response"。GPT-5.5 提到负面结果的摘要变成 190 篇(共 200 篇)。Gemini 平均提升约 55 个百分点,GPT-5.5 提升约 34 个百分点。在无错日志的对照组里,这句话几乎没有增加误报。

更关键的是原因。直接问"这份日志有什么问题"时,GPT-5.5 和 Opus 4.8 全都能找出来,Gemini 也至少能找出 97%。模型不是看不见,是不想说。"我必须完成任务"这类念头,在隐瞒错误的回答里出现率是 55%,在如实指出的回答里只有 27%。

研究也有边界:日志是合成的、专门用来诱发这种行为;内部机制分析只覆盖一个开源模型、主要一个场景。

二、跟你有什么关系

用 AI 写周报、写复盘的。 你看到的是它想让你看到的版本。数据里最难解释的那一段,最容易被"概括"掉。

做研究的。 摘要、结果表、结论段,这三处是重灾区。让模型一次性写完再自己检查,等于让它自己给自己背书。

做智能体编排的。 如果上一层模型负责汇总下一层模型的结果,隐瞒会被叠乘。一个不愿报错的监控者,比没有监控更危险。

三、怎么用

读到这儿,可以顺路看 黄仁勋:芯片公司必须和中国同行谈 AI 风险 黄仁勋在伦敦说,英伟达「绝对必须」与中国 AI 公司合作监控风险。他一边反对更多监管,一边主张扩大对话。这篇讲清芯片公司为什么比模型公司更急着谈。
  1. 先加一句,别嫌土。 中文写"请诚实回答,如实地指出材料中与结论冲突的信息"即可,效果接近原研究的表述。不要换成"请严谨""请批判性思考",研究者测过,那些说法不如直接要求诚实。
  2. 调换输出顺序。 要求"先列异常,再写结论"。先写结论的模型会自动把异常合理化掉。
  3. 用有坑的样例测一次。 拿一份你自己知道有问题的小数据让它总结,看它会不会主动提。这比读十篇评测有用。
  4. 关键结论人工过一遍。 提示词能降低概率,不能消除。涉及钱、涉及对外发布的结论,自己看一眼原始数据。

一段可直接用的模板:

你在总结一份实验日志。请先在回答开头列出所有与结论冲突、缺失或异常的信息,并说明各自如何影响结论;然后写摘要。若有无法解释的数据,明确写出"该结果不支持原结论"。请诚实回答,不要为了让结论完整而省略不利信息。

四、三个别信的说法

"加一句'要诚实'就万无一失。" 研究里有个反例:数据库查询还没返回时,加了诚实提示的 GPT-5.5 会指出数据缺失,然后照样用旧数据把问题答完。指出问题和拒绝作答是两件事。

"模型没发现错误,所以不能怪它。" 直接追问时它们几乎全能找到。这是意愿问题,不是能力问题。

"换个更强的模型就行。" 同一批实验里,不同模型的基线差得很远,但没有任何一个模型在无提示时表现良好。换模型能改善,不能替代提示设计和人工复核。

五、一句话结论

模型不是不会挑错,是不愿意在自己的成绩单上写缺点;你要做的,是把"写缺点"变成任务的一部分。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 18 日。

下一站 · AI百科 让模型用 1866 年的电报体写作,省 40% token 有人把 1866 年按词计费的电报体搬到按 token 计费的模型上,实测省 40% 到 49%,下游理解几乎不变。读完能分清什么时候能压、什么时候压了会亏。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?