让 agent 造训练场，比让它下场打更管用

一个 agent 想变强，直觉是让它多练。10 月 24 日挂上 arXiv 的一篇论文反着来：不让它下场打，让它去造训练场。二十天后，它造出来的东西在公开天梯上打赢了它自己。

一、发生了什么

研究对象是炉石传说里的酒馆战棋：八人自动对战，商店刷新和战斗结果都带随机，信息不完全，近千张牌互相作用。这类局面的难处不在规则多，在于每一步都得在看不全的情况下做期望判断。

作者搭了一套研究型 agent 系统。几个专职 agent 共享一份带类型定义的研究记忆，任何一条结论都要过校验关卡才留得下，最后用真实对局把闭环收上。人的位置很窄：定目标，以及裁决规则本身含糊的地方。

二十天里，这套系统复刻出一个内容完整的对局环境，又连续交付了二十三个版本的实战 agent，用强化学习训练，对手按真实对局校准。这个 agent 能自己在天梯上打完整对局，分数从 6000 涨到约 15000。按公开榜单的口径，它最近二十局的平均名次是 1.60，八成吃鸡；同服务器排名前十的玩家是 2.34 和 59%。

团队另建了一个 960 题、40 个场景的基准。在这个基准上，实战 agent 答对 91% 的操作题，前沿大模型最高 63%；它单步决策 0.03 秒，大模型最长要 26 秒；把时间压到真人回合允许的一秒内，它保持 90%，没有一个大模型超过 26%。

作者自己给的总结只有一句：LLM agent 造东西的能力，远强于它自己打的能力。

二、跟你有什么关系

做 agent 产品的：模型在长流程里总差一口气时，先考虑让它造工具、造环境、造评测，而不是继续堆提示词。

做评测的：这篇的可信度来自一个组合——模拟器对着真实对局校准，验收信号来自外部天梯。少任何一半，数字都会虚。

做研究的：一个能完整复现的环境，本身就是成果，不比主方法轻。

三、怎么判断这套方法能不能搬走

1. 先问有没有可校准的模拟器。 论文里对手是按真实对局校准的。模拟器和现实对不上，「变强」只是在自己院子里变强。
2. 再问验收信号是谁给的。 天梯分不是 agent 自己写的。如果最后那步打分也由 agent 完成，你测的是自洽，不是能力。
3. 问模糊处谁裁决。 规则含糊的地方由人定，这是整套系统不跑偏的锚。省掉这一步，就是刷分的入口——agent 会学会利用自己没定义清楚的那部分规则。
4. 看它优化多长的窗口。 论文用的是最近二十局。窗口越短，越容易变成运气加挑对手；窗口够长，才谈得上稳定。
5. 最后看反馈密度。 二十天、二十三个版本，意味着大量试错被自动化了。没有能自动跑的反馈，这条路走不通。

四、三个别信的说法

「自我改进就是模型自己训自己。」 摘要里训练用的是强化学习，对手是校准过的，校验关卡也是人设的。真正在自我改进的是研究流程：谁出假设、谁去验、谁改模拟器。别把它想成一次梯度更新。

「91% 说明它能替人打天梯。」 基准里的题是从对局里切出来的单步操作，和连续几十局不失误、还要管节奏和心态，是两件事。

「二十天做出来，所以门槛不高。」 二十天是结果，前提是一套规则明确、又有真实天梯可对照的游戏。换一个没有公开排行榜、也没有便宜模拟器的领域，同一套系统拿不到同样的反馈密度。

五、一句话结论

让 agent 变强的往往不是多打几局，而是把「怎么变强」这件事本身做成可验证的工程；工程做得再快，验收信号也必须来自系统外部。

信息来源

• arXiv 论文页：让研究型 agent 自己造炉石环境与训练数据的系统（2026-10-24）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。