用模型当裁判，换个语言结论就变

你的团队用 GPT 打分评了半年模型输出，最近换了开源裁判，榜单排名翻了个个儿。不是被评的模型变了，是裁判变了。

一、发生了什么

10 月 22 日挂出的一项多语言研究专门测这件事。作者搭了一套组合实验：九种提示策略（含思维链、角色设定这类常见做法）乘以四个开放权重裁判模型、二十七种语言、四类任务、十三个数据集，在有人工核对的金标准输出上打了一百多万个点分数。结论有三层。第一，提示策略不可迁移：换一个裁判模型，同一个策略的效果可能整个反向，裁判模型的选择比提示策略的选择影响更大。第二，低资源语言下稳定性明显变差。第三，也是最容易被忽视的：这些波动会被汇总平均分掩盖——你看到的总分漂漂亮亮，底下的分数在小语种上已经乱了。

背景补一句：用大模型给大模型打分，这几年已经是评测的标配做法，理由是便宜、可批量。从榜单排名到论文评审辅助，到处都有它的影子。这篇论文补的正是这个标配的隐藏条款——这是背景，不是论文结论。

为什么要做这么大规模？因为此前的相关研究有两个系统性盲区：测提示敏感度的几乎只测英文，测多语言的又把提示模板固定死。两拨人各测一半，中间的交叉地带——「提示策略在别的语言、别的裁判上还灵不灵」——恰恰没人认真量过。这项研究一次填了四个维度：九种策略、四个裁判、二十七种语言、十三套数据集，百万级打分全部对着有人工核对的金标准输出做，不是模型自说自话。

二、跟你有什么关系

如果你做模型评测：你的排行榜可能不是「模型能力榜」，而是「裁判偏好榜」。换裁判模型后结论反转，说明榜单反映的是裁判条件下的相对表现。

如果你买模型服务：厂商给的评测分数如果没写清用什么裁判、什么提示模板、覆盖哪些语言，那个分数对你的小语种场景参考价值有限。

如果你是研究者：跨研究比较评测结果时，只对齐数据集不够，裁判模型和提示配置也要对齐，否则比的就是两套不同的尺子。

三、怎么判断

1. 看评测报告先翻脚注：裁判是谁、提示模板哪来的、测了几种语言。没写这三项的，降一档信。
2. 验证策略时在你自己的目标语言上跑，别信英文基准上验证过的「最佳提示」。论文明确说英文上有效的做法换语言未必成立。
3. 看分项别只看总分。低资源语言的分数波动被平均数吃掉，单独拆出来才知道评测稳不稳。

四、三个别信的说法

错误说法一：思维链提示总是让裁判更准。 实测里策略效果依赖具体裁判模型，同一个策略在不同裁判上方向都能反过来，「总是」不成立。

错误说法二：一百万个分数，结论肯定可靠。 分数多不等于分布稳。恰恰是小语种上的不稳定被大样本平均稀释了，量越大藏得越深。

错误说法三：裁判模型之间差不多，随便选。 研究的核心发现就是裁判选择的影响压倒提示选择，选错裁判等于换了整套评价体系。

五、一句话结论

模型裁判不是尺子，是另一只手——它的读数随握法（提示）和它自己（模型）一起变，用之前先在你自己的语言和任务上校一次零。

信息来源

• 多语言模型裁判稳健性研究（arXiv 摘要页），2026-10-22

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。