判幻觉，便宜的决策模型够用吗

用大模型当裁判审另一个大模型的输出，账单很可观，而且裁判自己也会胡说。10 月 27 日提交的一篇论文认真算了一笔账：换成一类只输出固定结论的小模型，幻觉检测能省多少钱、又要打多少折扣。

一、发生了什么

论文对比两类「审查员」。一类是通用对话式大模型，自由发挥写评语，能力强但贵，还会幻觉和过度自信；另一类是决策模型，只在预先定义的几种结论里选一个，附上概率，速度和成本都低得多。作者围绕幻觉检测搭了二分类测试集：覆盖五种幻觉类型，共 9852 条样本，材料取自六个数据集。参战的决策模型有五个，对照组是名为 gpt-6-sol 的生成式裁判。

结果要分类型看。面对上下文不一致这类幻觉，最好的决策模型和 gpt-6-sol 打平；事实性错误上差距不到三个百分点；但逻辑不一致和指令不一致两类要落后四到八个点。同一批模型，换个幻觉类型，名次就换一批——这说明「幻觉」不是一个单一问题，审查管线必须分类设计。

概率校准方面，决策模型普遍过度自信——不过比 GPT-6 系列还要轻一些，把概率直接当置信度用之前，需要在自家数据上重标定。最有用的发现在组合策略：把多个决策模型串成置信度级联，高置信的直接出结论，拿不准的往上传，在三类幻觉上比最好的单模型再涨 1.9 到 3.3 个点，成本只有 gpt-6-sol 的百分之一到三，成绩持平甚至反超。按这个结构，贵模型只需要处理真正难的那一小撮。

有一点要先说清：这是论文摘要阶段的结果，五种类型的具体划分口径以论文全文为准。这是背景，不是论文结论。

二、跟你有什么关系

做内容风控的：大量初筛类审查可以用决策模型打底，成本降两个数量级，难例再升级到大模型复核。

做 agent 评测的：生成式裁判的账单可以砍，但要按幻觉类型分开接，别一刀切全换。

写论文的：五类幻觉的差距分化明显，引用结论时必须带上「哪类幻觉」这个前提，笼统说「够用」会误导读者。

三、怎么判断

1. 先给自家审查任务分类：上下文对不对得上、事实错没错、逻辑通不通，是三种难度完全不同的问题。
2. 一致性、事实类幻觉可以先用决策模型跑；逻辑和指令类先别撤大模型。
3. 上线前用自己的数据验证概率校准，摘要明确说这些模型过度自信，阈值不能照搬别人的。

四、三个别信的说法

决策模型全面替代大模型裁判。 论文的结论是「部分类型够用」，逻辑类和指令类还差四到八个百分点，全文替换会掉精度。

便宜就是没有代价。 概率过度自信的问题在决策模型上依然存在，只是比 GPT-6 系轻，直接拿概率当置信度会误判。

级联是无损优化。 级联的提升集中在三类幻觉上，幅度在 1.9 到 3.3 个点之间，不是类型通吃的万能结构。

五、一句话结论

审幻觉这件小事，先让便宜模型上，审不动的再交给贵的。

信息来源

• 论文摘要：决策模型当幻觉裁判（arXiv），2026 年 10 月 27 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 29 日。