决策模型没赢，小分类器还更快

「不生成文字，直接输出一个 0 到 1 的判断」，听起来就该比逐字生成的大模型快得多，也便宜得多。红帽把这个说法拿去测了一遍。

结论有点扫兴：快是相对的，准也是相对的，但没有一项是压倒性的。

一、发生了什么

10 月 2 日，红帽开发者博客刊出安全团队的评测，作者是 Rob Geada、Mac Misiura 和 Shelton Cyril，10 月 5 日更新。他们比较了四类做法、9 个候选模型，任务只有两个：识别提示注入，识别有毒内容。

四类做法分别是：预训练的小分类器，参数量在 2 亿以下，CPU 就能跑；2019 年的老式零样本分类器；用大模型当裁判；以及 Jev 这类「决策模型」。Jev 由 TypeSafe AI 推出，不生成文本，而是对「当前状态加一组问题」直接给出结构化的判断，输出被约束在固定类型里，宣称零样本可用、无需微调。

测试集取自 EvalHub 的护栏评测库，提示注入和内容安全两个数据集都是类别平衡的，所以可以直接拿准确率比较。延迟的口径是从发出请求到收到「放行」或「拦截」的往返时间。开源方案 Laya 参数量最小，4.21 亿，CPU 可跑。

提示注入任务上，排第一的是 Qwen3.6-35B，准确率 89.31%，中位延迟 312.5 毫秒；第二名是预训练分类器 deberta，89.01%，延迟只有 54.1 毫秒。Jev 是 86.35%，348.1 毫秒。

内容安全任务上，Jev 以 86.20% 排第一，但优势很小：Qwen 是 85.47%，NVIDIA 的 Nemotron 自定义策略是 85.07%。延迟方面，红帽自家的 granite 小分类器只有 33.2 毫秒，准确率 80.27%。开源替代 Laya 最差，57.87%；换上更合适的提示词后升到 75.20%，涨了将近 18 个百分点。

作者还注明，测试机在英国、服务在美国，跨大西洋往返至少 56 毫秒，这对走远程 API 的模型不利。即便如此，Jev 的延迟仍高于本地部署的 Nemotron 和 Qwen。

二、跟你有什么关系

要给产品加护栏的。 先用小分类器。它在毫秒级、不占 GPU、成本最低，准确率离第一名只差零点几个百分点。除非你的风险定义天天变，否则没有理由先上大模型。

卖「专用决策模型」的。 「不生成 token 所以更快」这个推理不成立。真实延迟取决于部署位置、网络往返和批处理，不只看生成方式。

做评测的。 同一套风险定义，换个提示词，Laya 能涨 18 个百分点，Jev 反而掉 3.67 个百分点。说明「模型不行」和「提示词不合」很容易混在一起。

三、怎么选护栏

1. 先定风险，再选模型。 把「什么算违规」写成一句话，人工标 100 条。定义不清楚，换什么模型都测不出差别。
2. 把预训练分类器当基线。 它便宜、快、稳定。新方案必须先打败它，再谈其他优点。
3. 分开算准确率和延迟。 护栏在请求链路上，几十毫秒会叠加到每一次调用。准确率差 1 个点，可能不如延迟差 200 毫秒重要。
4. 在同一地点测。 跨洲调用会把网络延迟算进模型账上。要么本地部署，要么把测试机放到服务旁边。
5. 给提示词留出调优预算。 零样本不等于不用调。Laya 的例子说明，同一模型换个问法能差出一个数量级。

四、三个别信的说法

「决策模型一定更快。」 红帽的实测里，Jev 是 348 到 360 毫秒，比本地的 Nemotron 和 Qwen 都慢。它省掉的是逐字生成，没省掉网络和服务排队。

「准确率第一就值得换。」 内容安全上 Jev 确实第一，但只领先不到 1 个百分点，延迟却是小分类器的十倍以上。选型要看的是一整条链路的代价，不是排行榜首位。

「开源替代一定更差。」 Laya 原始配置只有 57.87%，调完提示词到 75.20%。差的是适配，不是模型本身。反过来，把 Jev 换成别人的提示词，它也会掉分。

五、一句话结论

护栏这件事，先比小模型，再谈大模型；先看延迟和成本，再看那一个百分点的准确率。

信息来源

• Benchmarking AI decision models against traditional guardrails，Red Hat Developer，2026-10-02

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。