agent 训练贵，先给环境排个课表

训练一个会用工具的 agent，大头开销常常不在梯度，而在 rollout——让模型去环境里跑任务、再逐条验证结果。10 月 27 日提交的一篇论文把省钱的手伸向了这里：给环境和任务排课表，40 步练出别人 120 步的成绩。

一、发生了什么

可执行环境的数量一多，rollout 的生成和验证费用就水涨船高。论文提出的 EnvSched 是一个在线调度器，从历史 rollout 里学习怎么分配每一批任务。它的取值逻辑有两层：一层是利用，挑那些大概率带来有效奖励差异的任务，练了能学到东西的；另一层是覆盖，让批次铺到还没观测够的环境和交互模式上。实现上，它把「环境-任务」对组织成一张双关系图：环境内部的边描述任务语义和共享的工具、状态、验证器结构，跨环境的边捕捉抽象的执行与奖励拓扑。历史统计量沿两类边传播，用来预测每个任务的奖励方差；方差高、观测少的任务优先入选，再靠环境配额和相似度惩罚压住扎堆与重复，全程不需要额外的试探 rollout。

效果写得很具体：在 Qwen3-8B 上做强化学习，40 个训练步后，在 BFCL-v3 这类函数调用考卷、tau-Bench 的客服场景和综合榜 ACEBench-Agent 上平均拿到 48.81 分，超过了随机选任务练到 120 步才达到的最高分；同等预算下不同模型规模都有提升。

为什么挑「奖励方差」当信号？直觉是：方差高说明这个任务上模型的表现在摇摆，练它能提供有效的学习信号；方差低说明模型已经稳定做对或稳定做错，再练收益有限。这和课程学习里「挑跳一跳够得着的题」是同一个道理，只是判断依据从人工经验换成了统计预测。这是背景，不是论文结论。

二、跟你有什么关系

跑 agent 强化学习的：rollout 预算有限时，任务怎么选比加卡加练更值得先优化。

做训练框架的：调度可以做成环境层的通用组件，不必绑死在某个 RL 算法上。

管 GPU 账单的：三倍的步数差意味着三倍左右的训练开销差，这类调度器值得排进基础设施评估。

三、怎么用

1. 先统计历史 rollout 的奖励方差和各环境的覆盖情况，这两项是调度器的主要输入。
2. 给批次加覆盖约束：同一环境、同一交互模式连续扎堆的任务，主动打散。
3. 对比实验按「同预算」算账，别按同轮数算——节省来自更聪明的选择，不是更长的训练。

四、三个别信的说法

训练慢是因为算力不够。 论文里随机选任务把大量预算浪费在低信息量的 rollout 上，先选对任务再谈扩卡。

调度器需要大量预跑。 这套方法明确不需要额外的试探 rollout，靠历史统计和图传播就能预测。

涨分来自新算法。 对照用的是同样的强化学习、只是任务分配不同，提升来自数据管理，不是算法升级。

五、一句话结论

rollout 预算花在哪，比花多少更决定 agent 能练成什么样。

信息来源

• 论文摘要：环境感知的 rollout 调度（arXiv），2026 年 10 月 27 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 29 日。