科研 agent 大考：最高分 80.9，稳过线只有四分之一

AI 做科研的演示视频越来越多，可挑 agent 的人手里没有一张像样的成绩单。已有的评测要么只考单一能力，要么只测某类任务，离真实的科研工作流差得远。10 月 23 日 arXiv 挂出的一个新基准，给科研 agent 出了一场正式考试。

一、发生了什么

这套基准按科研工作流设计，包含 120 道专家手工出的任务，横跨 11 个科学领域，任务类型有 7 种，分类依据是一套科研工作流任务框架。每道题都要求交两样东西：能跑的产物，比如代码和脚本；还有文字产物，比如报告和解释。

评分也是混合的：可执行产物走确定性程序校验，文字产物交给经过校准、专家验证过的模型裁判。除了看最终结果，基准还分析执行轨迹上的进展曲线和方案稳定性，刻画 agent 是怎么走到终点的。

十款前沿模型同场的结果值得细看：最强的 GPT-6 Astra 拿到 80.9 的总分，但只有 26% 的运行越过了 0.95 的成功阈值。不同任务类型上的能力画像差异明显，执行效率和稳定性方差也很大。代码和数据已开源。

这个落差怎么理解？总分衡量的平均水准，阈值越过的比例衡量的可交付率。科研场景对错误几乎零容忍，一次跑偏的实验设计比十次平庸的摘要更致命。用买家的眼光看，后者才是采购依据。这是背景，不是论文结论。

要买科研 agent 服务的团队：平均分是营销数字，越过成功线的比例才是可用性。26% 意味着十次里不到三次能放心交付，采购合同别按演示视频写。

做 agent 的团队：进展曲线和稳定性是比终点分更有信息量的诊断工具，你可以在自己的任务上照搬这套轨迹分析。

科研人员：把 agent 当助理可以，当主笔还不行——它的大部分运行达不到可交付标准，核对工作量省不掉。

出评测题的专家：这套基准的出题格式（双产物加混合评分）可以直接借用，把本学科的真实工作流翻成考题，比通用榜单更贴近决策。

总分 80.9 就接近能独立科研了。 总分与高分运行占比是两回事，四分之三的运行连 0.95 线都摸不到，离可靠交付还远。

模型裁判评分不可信。 这套裁判经过校准和专家验证，且只负责文字产物，可执行部分仍走程序校验，混合设计正是为了补裁判的短板。

榜单会长期有效。 基准一旦开源，被刷分只是时间问题，结论要用在「今天的差距」上。这是背景，不是论文结论。

考得多不代表稳，交付看的是过线率，不是平均分。

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。