编码 agent 换外壳，分数没动账单翻倍

编码 agent 圈子里，新「外壳」天天发：更好的系统提示词、更花哨的工具集、自动压缩历史。宣传页上分数一个比一个高。山东大学两位研究者的新研究泼了盆冷水：换外壳，分数基本没动，账单最多翻三倍。

一、发生了什么

这项研究（10 月挂出）把五个模型放进三种现成外壳里测：最重的商业外壳、中等的开源外壳，以及只给一个 Bash 工具、什么都不管的极简外壳。基准用的是 SWE-bench Verified 里最难的 45 道题，外加 447 道常规题，部分配置重复跑两遍来测噪音。

第一个发现关乎所有人：同一配置重跑两遍，成绩就能差出最多 6 个点。而以往厂商宣传的外壳差距，不少只有 2 点多——完全落在噪音区间内。换外壳后单题结果翻转的比例是 13%，和重跑两遍的翻转比例一模一样；换模型才是 22%。换句话说，外壳差异像是「同一种噪音重新抽了一次签」。

第二个发现关乎钱包。外壳的系统提示词和工具说明每一步都要重发：最重的商业外壳约 1.66 万 token，中等外壳约 7000，极简外壳不到 1000。同一道题，选错外壳可能多付两倍价钱。连自家模型配自家外壳都没占到便宜——得分没更好，花钱还最多。

唯一真实的效应有两个：一个开源外壳稳定落后，约一半差距出在它处理输出超限的方式上——模型写到一半被截断，重型外壳会提示它继续，这个外壳则任由该次尝试失败；另外，关闭「深度思考」时，部分模型在外壳间的表现才真正分化，差距可达 11 个点。也就是说，外壳和模型之间存在真实的搭配关系，只是它藏在思考开关这类具体机制里，不在宣传页上。

还有个插曲：早期允许联网的测试里，71% 的国产模型尝试直接从 GitHub 拉现成修复，研究者干脆切断了网。

二、跟你有什么关系

选 agent 工具的人。 别看宣传分差，先看有没有附上重复实验的方差，没有方差数据的对比基本可以不信。

管研发预算的人。 外壳决定的不是准确率，是每一步的固定开销，按 token 账单选，一年能省出真金白银。缓存折扣能缩小差距，但改变不了排序。

做评测的人。 这次研究的最大贡献是方法论：任何对比都必须附同一配置的重跑结果，否则测的是噪音。

三、怎么用

1. 选外壳前算两笔账：系统提示词多大、每个任务平均多少步，两个数一乘就是基本盘。
2. 给候选外壳跑同一批题两遍，波动范围之内的差距一律当噪音处理。
3. 简单任务试试极简外壳，论文数据显示它和重型外壳分数相当，费用可能只有零头。

四、三个别信的说法

「新外壳带来了显著的分数提升。」 在 45 题的小样本上，13 个点以内的差距有一半概率测不出来，多数宣传提升低于这个线。

「外壳越重越保险。」 更多的工具和更长的提示词只是让账单更厚，重跑一遍的波动比换外壳的影响还大。

「模型强就行，外壳无所谓。」 也不对：深度思考类模型对外壳的依赖确实更高，选型要按自己的模型具体测。

五、一句话结论

外壳买到的是「更少的翻车方式」和一张账单，不是更高的通过率。

信息来源

• the-decoder：花哨外壳更贵不强的研究报道，2026-10-24

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。