模型学的捷径，用反事实样本拔掉

模型判断一份简历「值得面试」，可能只因为里面出现了某个词。这个词在训练数据里和录用结果相关，在真实世界里毫无因果，这种相关就叫捷径。

一、发生了什么

这是 10 月 24 日提交的预印本，作者四人，正文 24 页。它处理的问题是：能不能不改模型、不重训，只在推理阶段把捷径压下去。

先看现有做法的门槛。多数去捷径的方法都在训练时动手，需要带标注的训练数据、模型的权重、以及相当可观的算力。论文要的是另一条路——测试时去捷径。

它提出的是一族方法，统称反事实测试时增强。流程分三步：给定一个样本，用辅助模型生成若干「反事实编辑」，每个编辑只改动那个被怀疑是捷径的取值；再让目标模型对这些编辑分别预测；最后对这些预测做加权平均，得到最终答案。

论文给了理论部分：最优的「捷径不变预测器」一定属于这一族，并且刻画了它的权重。麻烦也在这里——权重取决于训练分布，一般情况下，从训练好的模型加无标注测试数据里是识别不出来的。

接下来是让步条件：在若干假设下，权重可以用目标模型自己的 token 概率近似出来。作者还给了检验这些假设是否被违反的方法。基于这套检验，他们做出一个叫 Select-CTTA 的聚合方法，在多个候选方案里挑一个。

实验结论是克制的两句：Select-CTTA 好过已有的测试时基线，并且接近「用捷径平衡数据微调过的模型」的水平。没有说超过。

二、跟你有什么关系

做风控、医疗、招聘这类高代价判断的团队。 捷径在这几个场景最贵：训练集里某家医院、某个科室、某类措辞的分布，换一家机构就全变了。这套方法的价值是让你在不重训的前提下先做一次压力测试。

做推理服务的团队。 反事实增强是要花钱的：一个请求变五次、十次推理。它换的是稳健性，不是吞吐。上线前先把单位成本算清楚。

做评测的人。 它给了一个好用的检验思路：把样本里的可疑特征改掉，看结论会不会翻转。翻转率就是捷径的暴露度，不需要训练就能测。

三、怎么用

1. 先说出捷径是什么。 「模型学到了伪相关」不是诊断。要指名：是某个词、某个来源标记、还是句子的长度。说不出，就没法构造反事实。
2. 只改一处。 反事实编辑要最小化，改一个变量，其余保持。改得越多，测出来的差异越不知道来自哪。
3. 加权，不要平均。 论文的重点就在权重：不同编辑的可信度不一样。等权平均是最省事、也最容易被带偏的做法。
4. 先跑假设检验，再决定用不用。 权重可识别的条件不总成立。Select-CTTA 的思路是先检测，违反就退回更保守的方案。

四、三个别信的说法

「测试时增强就是提分技巧。」 目标不同。常规增强是为了平均分，这个方法是为了在分布漂移时不崩。代价可能是平均分下降，这是交换，不是白赚。

「不用重训就能清掉捷径。」 论文自己说得很清楚：权重一般不可从模型和无标注数据里识别，只有在额外假设成立时才能近似。假设不成立，方法就失去依据。

「反事实编辑一定保真。」 编辑是辅助模型生成的，它自己也会带偏见。改一个词可能同时改了语气、长度、领域词分布。编辑质量决定方法上限，这一步没法外包给「大概差不多」。

五、一句话结论

捷径不是靠更多数据治好的，是靠把那个不该相关的变量单独改一次、看结论动不动。

信息来源

• arXiv 摘要页：测试时拔掉捷径，2026 年 10 月 24 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。