AI百科网 AI教程
AI百科

数据投毒制造「共识」

一篇在 Hacker News 上传开的文章指出,攻击模型不一定要改权重:在公开网页批量制造「很多人都这么说」,检索和训练就会当真。

本文目录 · 6 节

问一个助手「这款产品有没有问题」,它给了你一段四平八稳的回答,还引了三个来源。三个来源互相引用,最早那篇,是一家公关公司写的。

它没有撒谎。它只是数了数网上哪种说法出现得最多。

一、发生了什么

10 月初,一篇题为《Synthetic Truth》的文章在 Hacker News 上传开。作者 Eslam Elsewedy,发表在 Medium 上。严格说,这是一篇观点文章,不是实验报告;它提出的是一个分析框架,不是一组测量数据。

文章的核心命题是:语言模型把统计频率当成了事实。谁制造出「很多人在说」的表象,谁就定义了答案。它引用了 2023 年 Carlini 等人的投毒研究,以及 Bagdasaryan 与 Shmatikov 关于后门的工作,并提到 OpenAI 在 2024 年 5 月披露过一批与国家关联的影响力行动,使用自动化账号和伪学术文章来饱和网络内容。

它拆出三条路径。

第一条叫「共识制造」。不再需要说服每一个人,只要批量生产互相呼应、措辞一致的文章,让某个说法在语料里占据多数。模型在训练或检索时看到的是频率,不是证据。

第二条叫「检索劫持」。针对会联网的助手,把关键词密集、结构规整的内容农场页面做到高位,让检索环节把营销话术当成第三方权威引用。用户看到的「据某媒体报道」,可能就是甲方自己写的。

第三条叫「递归幻觉」。模型读到的网页,本身是上一个模型生成的;新模型再把这些内容吃进去,输出下一批。合成内容层层叠加,原始出处越来越难找,最后连「有没有人真的这么说过」都无从查起。

二、跟你有什么关系

做品牌的。 过去买曝光,现在买的是「被引用的概率」。但用同一套手法堆出来的内容,也会污染你自己的品类认知,最后没人信任何一方。

做 RAG 的。 你的知识库如果来自公开网页,投毒面就是整个互联网。检索质量不只取决于向量相似度,还取决于来源可不可信。

普通用户。 助手给出来源,不等于来源独立。三个链接可能同源,甚至同一批账号发的。

三、怎么识别「被制造出来的共识」

读到这儿,可以顺路看 「太 AI 了,不想读」 一个单页网站把「TAI-DR」做成了标签和浏览器插件:看到没读就转发的 AI 长文,直接回一句「太 AI 了,不想读」。读完你能拿到一份识别 AI 文风的自检清单。
  1. 顺着引用往上走一层。 不要停在聚合页和「据称」。找到最早的那篇,看它有没有一手材料:数据、当事人、原始文件。
  2. 看时间分布。 同一说法在几天内集中出现、措辞高度相似、缺少早期讨论,更像投放,不像自然发酵。
  3. 查来源是否循环。 A 引用 B,B 引用 C,C 又引用 A。闭环里没有新证据,只有互相背书。
  4. 问「反方在哪」。 真实的争议一定有反对材料。如果搜不到任何反证,不是共识太强,是内容被清理过。
  5. 给检索加约束。 做系统的人可以限制白名单域名、给近期内容降权、保留来源时间戳。成本不高,能挡掉大部分批量投放。
  6. 要求模型标注不确定。 让它区分「多处提及」和「已被证实」。这两件事在语料里长得一样,在现实里差很远。

四、三个别信的说法

「投毒需要侵入训练管线。」 多数时候不需要。往公开网页、评论站、开源数据集里灌内容就够了,下一次抓取会自己带进去。门槛低,才是它难防的原因。

「模型会自己做事实核查。」 它核查的是内部一致性,不是外部真实性。一批互相印证但全部编造的材料,在它眼里恰恰最「一致」。

「把原文删了就没事了。」 内容可能已经被索引、被缓存、被别的模型吸收进合成数据。删除只能阻止下一次抓取,改不了已经进入权重的那部分。

五、一句话结论

当模型把「说的人多」当成「事情为真」,公关预算就变成了事实的生产线。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。

下一站 · 工具库 GPT-6 三条产品线,按任务怎么选 三条线差一百倍价钱,差别不在聪不聪明,在任务要不要它想那么久。这篇按任务给出对照、推理档位的用法,以及上线前必须算的三个指标。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?