给 agent 出一场「持续学习」考试

同一类活干到第五遍，人会长本事。agent 不一定。这篇论文做的事，就是把这个「不一定」变成一张能打分的考卷。

一、发生了什么

10 月 25 日挂上 arXiv 的预印本，作者十余人。核心是一套叫 CLE 的基准，由五十多位领域专家参与出题。

规模是这样：120 道人工撰写的任务，每道拆成五级台阶，合计 600 级，覆盖 12 个职业领域、89 个专业岗位。规则是通关制——过了一级才解锁下一级，后面的关卡建立在前面积累的经验上。评分不靠人肉，而是一个评估 agent 按人工写好的评分细则给每份提交打分。

真正被比较的是两种设置。第一种，只交一次，交完就结束。第二种，失败后给诊断性反馈，允许改一次再交。

对比了 17 组「框架加模型」的组合，用的都是前沿模型。结果是：给反馈、允许改一次，通关率的中位数提升 5.3 个百分点。但最好的系统也只清掉 47.7% 的关卡，能在全部五级上都走完的任务只占 23.3%。

作者的落脚点不是「模型不行」，而是这个差距说明：靠经验持续变强，对现有前沿模型仍然很难。他们还提到，这套数据也可以拿去做后训练，专门强化持续学习能力。

二、跟你有什么关系

做 agent 产品的团队。 你的用户不是用一次，是用三个月。第一周的惊艳和第三个月的原地踏步，差距不在模型，在有没有把「上次怎么失败的」写回去。

做评测的人。 这份基准最值得抄的不是题目，是计分结构：分级解锁、按细则打分、区分「一次过」和「改一次再过」。后一个差值，才是学习能力的代理指标。

要采购 agent 的企业。 别只看单任务成功率。问供应商一句：同一个流程跑第五遍，比第一遍强多少，强在哪。答不上来，说明没有积累机制。

三、怎么判断

1. 先看分母。 47.7% 是按关卡算的，23.3% 是按任务算的。两个数放一起看，才知道它是「每关都能过一点」还是「少数任务一路通关」。
2. 做一个反馈对照。 同一批题，一组不给反馈，一组给反馈并允许改一次。差值大，说明模型能听懂指错；差值小，说明它连纠正都不会。
3. 看它有没有真的「积累」。 关键在第五级：如果第五级的通过率和第一级差不多，说明前面几级没留下东西，只是题目变难了。
4. 自建一套小的。 挑你业务里最典型的五条流程，每条拆五级，写清评分细则。二十来道题的内部考卷，比公开榜单更能预测你的场景。

四、三个别信的说法

「通关不到一半，说明模型很弱。」 这批题是专业工作流的五级串联，不是知识问答。单点能力早就不弱，弱的是「带着上一关的经验进下一关」。这个分数测的是后者。

「一次反馈涨 5.3 个点，说明会学习了。」 那是中位数，而且只允许改一次。被指出错误后能修，和下次同类任务不用被指出就能做对，是两件事。论文没有宣称后者。

「这又是一份用来刷榜的数据集。」 题目和评分细则都是人写的，评估也是按细则走，这一点比自评式榜单扎实。但 120 道题的规模撑不起行业标准，它更像一个方向标。

五、一句话结论

衡量 agent 会不会学习，看它第二遍比第一遍强多少，而不是第一遍有多强。

信息来源

• arXiv 摘要页：一套测持续学习的考卷，2026 年 10 月 25 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。