用 agent 模拟民意前,先看这个「加不到一」的毛病
新论文测试三个小模型在意见模拟里对同一主张正反两种问法的回答,发现概率加起来不等于一,且偏差远大于普通改写的影响。读完你会知道模拟民调为什么不可尽信,以及读这类结果前该查什么。
问一个 agent「这个说法为真的概率是多少」,它给 0.7;把同一件事反过来说再问,按理应该报 0.3,它却给了 0.48。两个数加起来是一点一八——民意模拟的信任危机,就藏在这零点一八里。
一、发生了什么
10 月 23 日提交的一篇论文,检验了所谓「互补一致性」:如果 agent 报告的数字反映的是自己的立场,那么把主张改写成反义、把每个概率换成它的补数,两个答案加起来应该恰好等于一。研究者在从一场运行中的网络模拟里取出的 2304 个 agent 状态上做了检验,用的是三个小型开源模型。结果是一个模型平均加出一多,远超一的偏差;在 48 条真实事实核查主张上同样超标。
为了排除偶然,团队又搭了一个每题只有两种可能结果的对照测试,三个模型全部翻车。这个偏差的量级是同义改写所引起变化的两到十倍,而且换采样次数、换邻居数量、换汇报强度都消不掉。更麻烦的在下游:把这两套回答各自喂回一个群体让它们演化,五轮之后两个群体不再互为镜像——问题会在模拟里自我放大。论文还测了一种简单修正:把每个答案和它配对答案的补数取平均,一致性确实恢复了,但只有三个模型中的一个因此变得比单次回答更准。
二、跟你有什么关系
做社会模拟、舆情推演的人:你的模拟结果可能系统性地依赖问法。同一主张换个措辞,结论能差出好几倍,先做正反问的一致性体检再谈洞察。
做 agent 产品的人:凡是让模型报「概率、评分、置信度」的功能,都该意识到这些数字不是测量值,问法的影子非常大。展示给用户之前,最好先知道这个影子有多宽。
读 AI 民调报告的普通人:看到「模拟显示百分之多少的人如何如何」,先问一句这模拟做过一致性检验吗。没做过的,数字当气氛看就好。
三、怎么判断
读到这儿,可以顺路看 之前没人攻成的 PHP 漏洞,这次连美国政府关联防火墙都沦陷了 安全公司 Dream 披露首例 PHP2Shell 实际入侵:攻击者组合两个漏洞,15 分钟内拿到防火墙最高权限,25 台服务器沦陷,其中含美国政府关联机构。暴露在公网的管理接口是最大软肋。- 用 LLM 做任何量化模拟前,先跑一遍正反问法对照:把主张改成反义重测,看两套结果是否互为补数。
- 对外发布模拟结论时,附上问法原文和一致性检查结果,让读者能判断数字的成色。
- 需要更稳的数值时,考虑正反平均这类校准手段,但要重新验证它对准确率的影响——论文显示未必净赚。
四、三个别信的说法
「模型输出的概率就是它的信念」。 论文的出发点正是这个假设被推翻:数字更多跟着句子走,而不是跟着立场走。读成信念之前需要单独测试。
「多次采样取平均就能消除这种偏差」。 论文明确测了重复采样,偏差依然在。这不是随机噪声,是系统性的问法依赖。
「小模型才这样,换大模型就好」。 这篇只测了三个小模型,大模型没测过——反过来说也一样,不能想当然认为大模型没事。这正是可复用的检验方法的用武之地。
五、一句话结论
同一件事正着问和反着问,答案加不到一,就别把模拟数字当民意——一致性检验该成为模拟类研究的入场券。
信息来源
- arXiv:LLM 民意模拟中的互补一致性检验(2026-10-23)
功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。