AI 研究报告读得越顺,可能越不可信
一篇新论文给「主张平滑」打了分:研究型模型写报告时把冲突证据磨成单一叙事。本文讲清这个新偏差的测量方法和给你所在的三个角色的具体启示。
AI 写的研究报告越读越顺,可能越不可信——流畅本身,就是一种失真。
一、发生了什么
10 月 26 日 arXiv 上线的一篇论文研究了研究型大模型的一个隐藏失败模式,作者团队把它命名为「平滑」(smoothing):当模型读一大批文档、合成一份长报告时,产出读起来自信、完整、像一份定论,却没能如实反映底层材料——它把多样且互相冲突的来源压成了一条单线叙事,丢掉了证据本该有的锯齿感,结论的笃定程度超过了引文所能支撑的范围。这类场景现在有个通用叫法:深度研究。读上百份材料、产出「洞见」,正是各家主推的能力。
怎么测?论文提出了一套主张级的打分流程,取名叫 SmoothScore,分四步:先从模型报告里抽取关键结论句;再为每条主张检索全语料里的相关证据;把这些证据按高层维度聚类,看清它们到底是同向还是有分歧;最后对照证据给主张打分,量化这份报告被「磨平」的程度。作者在 7 个系统、4 个数据集上跑了这套流程,结论一致:各家 agent 产出的主张,普遍强于证据的实际支撑度。代码和数据都已开源,复现门槛不高。
需要说明:以上是论文摘要写明的内容。至于「为什么会出现平滑、能否靠提示词缓解」,摘要没有给出答案——这是背景而非结论,别当成论文说了什么。但这个发现的时点很关键:深度研究类产品正在被大量用于真实决策场景,一份「看起来没毛病」的报告,比一眼假的输出更难防。
二、跟你有什么关系
做深度调研工具的工程师:评测报告质量时,光看「通不通顺、全不全面」会漏掉最危险的那类错,主张级对齐该进评测集——SmoothScore 的流程可以直接当模板抄。拿 AI 做投研和尽调的人:一份没有分歧、句句笃定的报告,恰恰最需要回头逐条对原文,冲突信息被融合掉的位置,往往就是风险的藏身处。写论文的学生:让模型帮你综述时,要求它显式保留分歧、分点列出对立结果,比笼统要求它「更准确」有效得多。
三、怎么判断
读到这儿,可以顺路看 之前没人攻成的 PHP 漏洞,这次连美国政府关联防火墙都沦陷了 安全公司 Dream 披露首例 PHP2Shell 实际入侵:攻击者组合两个漏洞,15 分钟内拿到防火墙最高权限,25 台服务器沦陷,其中含美国政府关联机构。暴露在公网的管理接口是最大软肋。- 把报告里的结论句逐条圈出来,回到原始文档找对应段落,对不上的就是被平滑过的。
- 明知来源有冲突时,让模型分列陈述而不是融合,融合就是失真的起点。
- 用「主张级抽查」替代整体印象:抽十条结论验十条,比通读三遍更能暴露问题。
- 重要决策的报告,让另一个模型拿原文反过来审第一份报告的主张强度。
四、三个别信的说法
报告里带引用就等于有据。 论文量的正是「引用撑不起结论强度」这件事,引用是装饰也可能是掩护。
换个更强的模型就没事。 七个系统测下来一个都没跑掉,这是模式问题,不是能力短板。
读起来通顺就是质量高。 恰恰相反,通顺是平滑的产物,锯齿感才是证据的真实形状。
五、一句话结论
研究报告的第一指标不是圆滑,而是保留了分歧。
信息来源
- arXiv:量化研究型智能体的主张平滑(2026-10-26)
功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。