让大模型审论文，改得多、担得少

你刚投出一篇改了半年的论文，收到的审稿意见里有两条出自机器。它把你论文里一个已经在发表前被编辑压过的统计口径批得体无完肤，却放过了另一处明显的对照缺失。你会听它的吗？

一、发生了什么

一篇 10 月 22 日挂出的论文做了个直接了当的实验：从二十本综合科学、生命科学与临床医学期刊里取两百篇 2026 年发表、采用开放许可的文章，其中包括 Nature、Science 和 Cell。四个在役大模型——两个闭源、两个开放权重——在盲评协议下各自独立给这些文章写审稿报告。八百份意见里，六百零五份（75.6%）给出了大修或拒稿的建议。这些文章全部通过过真实编辑流程，相当于现行体系里可信度的天花板，却被机器大面积判了「不合格」。

更麻烦的是模型之间几乎不互相认账。单个模型的严苛比例从 17.5% 到 100% 不等，统计检验显示这不是抽样波动。研究团队又做了第二轮：往同一批论文里刻意埋进一个本领域常见的方法或统计漏洞，各模型的检出率从 17.0% 到 60.5%——最好的模型也漏掉了将近四成，最差的近乎全盲。这两组数字合起来看更扎眼：模型一边对合格的论文大放厥词，一边对真正的硬伤视而不见，两种错误还不在同一个模型身上。

论文作者把这个信号定性为「不均匀的、依赖表述框架和具体模型的输出」。换句话说，机器审稿意见的价值不取决于论文本身，反而取决于你碰巧用了哪个模型、怎么问它。这就引出一个此前没人认真测过的问题——评估这类工具时，该按什么标准算它「审得好」。

二、跟你有什么关系

如果你是投稿人：收到语气严厉的机器审稿意见，别当成质量判词。它可能只是某个模型的固有风格，与你的论文好坏关系不大。

如果你是期刊编辑：用大模型预筛稿件会同时引入两类错误——把没问题的稿子拦下来，又放过真正有问题的，而且两类错误的速率随模型不同剧烈波动。

如果你是审稿人：短期内你被替代的风险比想象的小，但「审稿太慢」这个问题本身，也没有因为机器介入而解决。

三、怎么判断

1. 先看意见指向的是「已经过审的内容」还是「新埋的漏洞」。前者多半是风格性苛责，后者才值得认真对待。
2. 不要只看一份机器意见。同一篇文章多换一个模型再问一次，两边结论相反的情况要人工复核。
3. 把机器意见当线索清单，不当决定依据。检出率不到六成的检测器，只能用于提示，不能用于裁决。

四、三个别信的说法

错误说法一：机器审稿能缓解审稿人荒。 这项研究里模型把大量本已合格的文章判为大修或拒稿，等于给编辑制造了更多需要人工仲裁的争议。省下的时间可能又赔进去。

错误说法二：几个模型投票就能互相纠偏。 实测里模型之间的严苛程度差异大到没有可比性，投票只会放大最严苛那个模型的话语权，而不是收敛到真值。

错误说法三：能抓住漏洞就说明能审稿。 检出刻意埋入的漏洞，最好的模型也只有六成上下。审稿的核心是判断贡献与可信度，这比找漏洞更难。

五、一句话结论

机器审稿现在的状态是：嗓门很大，视力很差，而且每个模型嗓门不一样——用之前先想清楚你在让它替你负什么责任。

信息来源

• 大模型当审稿人的问责研究（arXiv 摘要页），2026-10-22

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。