让模型复现物理论文，能到哪一步

给模型一篇理论物理论文，让它把里面的结果重新推一遍；再给它一个被改过的前提，问它会怎样。这两件事的难度差得很远。

一、发生了什么

PHYRD 是个「活」的基准，10 月 23 日发布，专测理论物理推理。它由两类题组成：63 道复现题，要求推导出已发表的结果；43 道发现题，要求给出被修改后的理论条件的推论。

题目靠一套叫 FormulaForest 的流程构造，为每道题生成参考答案和子问题级别的评分细则。这个设计的意义在于，评分不只看最终答案，还能看到推导断在第几步。

五个模型的成绩：整题正确率在复现题上是 49.21% 到 68.25%；闭卷的发现题上是 18.60% 到 74.42%，跨度非常大。

给工具之后，四个模型能做出更多发现题，但概念性错误和论证缺失依然存在。作者特意点出这一点：工具补的是计算，不是物理直觉。

另一个结果关于数据本身。FormulaForest 生成的题可以当合成训练数据用，在 OpenAI 开发的 FrontierScience 基准上，把一个 Qwen-35B-A3B 模型从 61% 提到 72%。

边界：摘要只给区间，没给五个模型各自的分数，也没给题目难度分布和评分细则的粒度。发现题只在闭卷条件下报了区间，开卷的数字没写。基准自称「活」，意味着题目会更新，跨时间比较要小心。

补一点同主题背景。这是背景，不是论文结论：过去两年物理方向的 AI 评测大多集中在解题，也就是给定条件求答案，而研究工作的核心动作是判断哪些前提可以改、改完会发生什么。这两件事的能力要求并不重合，这也是「发现题」这一类设计越来越常见的原因。

二、跟你有什么关系

物理方向的研究生：这份题单可以直接当自测。复现题做不出来，说明基础推导有洞；发现题做不出来，说明缺的是物理判断。

做 AI for science 的：18.60% 到 74.42% 这个跨度比平均分有意思得多。它说明这类任务对模型选择极度敏感，选型不能看榜单均值。

做基准的：子问题级评分细则值得抄。整题对错的信息量，远小于「断在第几步」。

做科研工具的：63 加 43 的规模不大，但题目边界清楚。想验证一个模型能不能当推导助手，这比拿奥赛题测更接近真实场景。

三、怎么判断

1. 先分两类看。复现是「照着走」，发现是「自己走」。一个模型复现 65%、发现 20%，和复现 50%、发现 65%，是两种完全不同的工具。
2. 加工具再测一遍，并看错误类型。错误从算错变成讲错，说明工具用对了位置；错误还在算，说明工具没接上。
3. 合成数据要留域外测试。用 FormulaForest 的题训练，就得在没被覆盖的题目上验收，否则涨的是记忆。

四、三个别信的说法

「能推公式就是会物理。」 复现题最高也只到 68.25%。会走别人铺好的路，和会判断路该往哪走，是两件事。

「分数上来了就能替研究生算。」 摘要说得很清楚：给了工具之后，概念错误和缺失的论证还在。这类错误恰恰最难被审出来。

「合成数据涨点就是方法有效。」 从 61% 到 72% 是在一个特定基准上的一次结果。数据分布接近时涨点，是预期之内的。

五、一句话结论

复现是及格线，推广才是考题，这两项分数必须分开报。

信息来源

• arXiv：PHYRD，复现与扩展理论物理研究的活基准（2026-10-23）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。