770 个道德判断帖，测出 Jev 与大模型的真实差距

判断一个模型行不行，厂商的跑分说了不算，得有人拿真任务测。一位开发者自掏腰包——全部测试花了不到 3 美元——拿 770 个「我错了吗」帖子，给 TypeSafe 的决策模型 Jev 和几款主流模型排了座次。

一、发生了什么

GitHub 用户 dchristopoulos 发布了一项独立评测，声明与 TypeSafe 无任何关联。他用 2025 年的 770 篇 Reddit 道德判断版帖子做数据集，让模型预测社区的裁决（对、错、都有理、都无理四类），再和官方裁决比对。结果：Jev 配上后验调整后，top-1 准确率 78.6%，排第一；Anthropic 的 Sonnet 5 为 76.9%，Brier 分数上略优于 Jev；GPT-5 nano 只有 66.1%；两个本地开源小模型表现更差。速度和成本差距更夸张：Jev 实测延迟 0.39 秒，比 Sonnet 5 快约 6.3 倍，每千帖成本 0.037 美元对 2.291 美元，差约 62 倍。作者也坦白：调整后的 Jev 成绩是事后探索，不是公平对比；对所有模型做同样调整后，Sonnet 5 仍小幅领先，但差异在误差范围内，没有定论。

二、跟你有什么关系

买模型算成本的人：决策类小模型在「快和便宜」上是真的，判断力只比聊天模型差一点点。做产品选型的工程师：这个评测的口径设计比结论更值得学。围观模型竞赛的人：TypeSafe 宣称的快 40 到 200 倍，在这次实测里没有出现。

还有一条容易被忽略的边界：数据集只有 770 帖，四分类任务，误差范围不算小。它适合用来排除明显不合格的模型，不适合给两款接近的模型排座次——78.6% 对 76.9% 这种差异，换个抽样可能就反转。真要据此下单，先在自家业务数据上复测一遍，别把别人的数据集当成你的战场。

三、怎么判断

1. 先立基线再吹成绩。这份数据里，闭着眼永远答「你没错」就有 74% 正确率——只有 Sonnet 5 和 Jev 明显跑赢了这个基线。看任何评测先问：基线是多少。
2. 分清预测和真理。模型学的是 Reddit 网友的裁决偏好，不是道德标准本身；一半以上的「都有理」类帖子，所有模型都判不准。
3. 把延迟和成本放进选型公式。同样是 78% 上下的准确率，0.4 秒对 2.5 秒、千分之一的价格差，在高频场景里是决定性的。反过来，低频、单次成本可以忽略、又极度看重判断质量的场景，这条公式要倒过来算。

四、三个别信的说法

「小模型一定打不过大模型。」 在结构化的价值判断任务上，Jev 原始成绩就贴着 Sonnet 5。差距存在，但没到代差。

「跑分高就能直接用。」 调整后的 78.6% 是事后探索性结果，作者自己声明不算数。看评测要看它有没有预留的验证集。

「便宜的东西牺牲了质量。」 这次差距主要在速度和价格上体现为优势，判断力损失远小于价格损失——前提是任务真的只需要快判断。

五、一句话结论

选模型先问三件事：基线多高、贵多少、慢多少——这次答案是 74%、贵 62 倍、慢 6 倍。

信息来源

• Jev vs. LLMs on 770 "Am I the Asshole?" posts（GitHub 仓库，2026 年 10 月）

功能与价格以官方公告为准。本文写于 2026 年 10 月 20 日。