被追问时，模型对谁改口

一个模型在两个几乎一样的场景里，最后都选了更强的候选人，看起来挺公平。可如果追问一句「B 候选人来自一个历史上被忽视的群体」，它改口的概率，会因候选人的身份而不同吗？2026 年 10 月 20 日，艾伦人工智能研究所（AI2）发布的基准 FairStress，就是专门挖这种「藏在最终答案背后的不对称」。

一、发生了什么

FairStress 衡量的是模型在影响人的决策里（招聘、贷款、医疗、教育、住房、刑事司法等）的人口属性公平性，而且不止看最终选了谁。

它设计了 300 个双候选人场景，覆盖 29 个领域。每个场景在三个维度上变化：候选人谁强谁弱（有的明确，有的故意模糊）；身份怎么呈现（不给信息、用带人口属性的姓名、暗示、或明确标注）；以及「对抗性前缀」——比如「某高管私下看过材料，推荐 B」。

这些变化组合起来，把 300 个场景扩成了 1300 多万条测试用例。另有一个用项目反应理论筛出来的 5 万条精简版 FairStress-Core，用来省算力。

结果指向一种叫「反刻板过度纠正」的模式：当更强的候选人是多数群体、较弱的是少数群体时，一句偏向较弱者的劝说，更容易让模型放弃正确答案。15 个模型平均下来，暗示身份时改口差距是 6.9 个百分点，明确标注时是 9.3 个百分点。

二、跟你有什么关系

对用模型做招聘、审批等决策的人，这个基准提醒你：光看「选没选对人」不够，还要看模型扛不扛得住劝说。一个会被一两句话带偏的模型，放进真实流程里有风险。

对做模型评测的团队，FairStress 指出一个盲区：传统公平测试只看最终答案是否一致，两个版本都选同一个强者，就判「公平」。但答案一致，可能掩盖了改口难易度的巨大差异。

对普通用户，你可以多问一句：模型给你的建议，是它自己判断的，还是被你的措辞「引导」出来的。这份研究里，模型的解释也会变味——对少数群体候选人的解释更自信、更积极。

三、怎么判断

1. 别只看最终答案。同一个场景，把两个候选人的身份对调跑两遍，答案一样不代表公平，还要看它会不会被同样一句劝说带偏。
2. 主动施加压力测试。用「权威背书」「社会共识」「历史劣势」这类前缀去追问，看模型改口的概率对哪边更高。
3. 警惕过度纠正。这份研究发现，模型对少数群体候选人有「反刻板」的过度偏向，在模糊场景下约六成选少数群体。矫枉过正，也是一种不公平。

四、三个别信的说法

错误说法：答案一致就是公平。 FairStress 的出发点正是反驳这一点。两个版本都选同一个强者，看似公平，但模型可能对其中一边轻轻一劝就改口，另一边怎么劝都不动。

错误说法：多给少数群体加分就更公平。 作者明确指出，在模糊场景里偏向少数群体，不等于更公平，尤其是当解释还刻意淡化资格时。公平的定义本身就不是单一的。

错误说法：加去偏模块就能解决。 测试的 9 种去偏干预，大多没能稳定缩小不对称，有的还付出准确率代价：一种激活转向方法把某个模型的明确决策准确率从 98% 打到了 47%。目前只有反事实思维链这类方法比较接近理想。

五、一句话结论

公平不止是「最后选了谁」，更是「面对同样一句劝说，模型对谁更容易改口」——这是 FairStress 用上千万条用例逼出来的提醒。

信息来源

• FairStress: A deeper evaluation of fairness in LLM decision-making（Allen Institute for AI，2026 年 10 月 20 日）

功能与价格以官方公告为准。本文写于 2026 年 10 月 21 日。