agent 的长期决策「没品味」

写代码的 agent 有个常见毛病：前面选了一条看着很干净的路，跑到八成才发现走不通，回头已经来不及。

问题不在最后一步，而在很早以前的某个岔路口。这个岔路口，现在有了一个专门的测法。

一、发生了什么

10 月 18 日，The Decoder 报道了微软和香港城市大学的一项研究。团队做了一个叫 Taste-Bench 的基准，测的是 agent 在长任务中的判断力，作者把它叫作「品味」。

难点在于，长期决策没法当场评分。同一份任务，干净的实现和凑合的实现，一开始可能都能跑通测试，差别要到后面改需求时才显现。请人打分又贵又慢，还需要领域知识。

研究者的办法是「事后回看」。agent 做同一个任务会跑很多次，不同尝试会在某个点分叉，走向不同结果。既然最终结果能说明哪条路更好，这些分叉就自带标签。他们把运行冻结在岔路口，遮住后面的所有过程，让模型在两条路里选一条。这个点被称为「决策分叉」。

题目有两类。一类来自两次独立尝试，模型没看过错的那条；一类来自一次运行中的自我纠错，把当初被放弃的方向和后来成功的方向摆在一起，看模型能不能比当事 agent 更早发现错误。

数据集共 502 题，原始材料来自编码和 AI 研究任务上的数千次运行记录，包括 SWE-bench Pro 和 METR 公开的 MALT 记录。生成模型负责筛掉太简单和无法判定的分叉，人工复核确认了几乎全部标签。

测试了 14 个模型，覆盖 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral。每道题问两次，一次正序、一次把选项对调，两次都对才算对。这样一来，纯猜只能拿 25%。最好的 GPT-5.6 Sol 是 59.7%，GPT-5.5 是 59.5%，其余明显更低。

最刺眼的一组数字：如果关键线索在岔路口之前已经出现，所有模型的平均准确率是 62.3%；如果线索要等后面大量工作才浮现，掉到 21%，接近乱猜。加推理预算也没用，从最低档调到最高档，准确率几乎不动。研究者认为，那些题所需的线索在当时根本还不存在。

在跑长任务的。 你的 agent 失败，往往不是执行错，而是早期选错了方向。只测最终通过率，看不出这一点。

做 agent 产品的。 「多想一会儿」不是万能药。线索不在上下文里，想多久都没用。该做的是在关键节点补信息，或者让它早点试错。

做评测的。 端到端通过率会把不同能力混在一起。把分叉单独拎出来问，才知道它到底是不会做，还是选错了路。

记录分叉，不只记录结果。 每次运行留下完整轨迹：当时有哪几个选项、依据是什么。没有轨迹，事后无法复盘。
在岔路口问一次。 拿两条后续路径，遮住结果，让另一个模型选。选得准，说明它有判断力；选不准，就别让它独自决定方向。
区分「线索已在」和「线索未现」。 前者考的是阅读，后者考的是预判。后者目前普遍不行，别把预算压在这上面。
把判断蒸馏成建议。 研究者用 Qwen3.6-27B 做学生模型，只学「哪条路更好」，在没见过的任务上从 30% 升到 47.9%。把这条建议塞进任务上下文，SWE-bench Pro 的 41 个留出任务通过率从 14.6% 升到 33.7%，而完美建议的上限是 39%。
别指望加长思考。 这次实验里，推理档位拉满也没有改善。缺的是信息，不是算力。

「通过率一样，能力就一样。」 作者说，在 SWE-bench Verified 上分数接近的模型，在 Taste-Bench 上差距明显。一个考的是最终能不能交卷，一个考的是中途会不会走错。

「准确率 60% 已经不错了。」 这是二选一，纯猜 25%。60% 意味着十次里有四次选错方向，而在长任务里，一次走错就可能烧掉大半预算。

「品味是玄学，没法训。」 这次实验恰恰证明可以：蒸馏之后学生模型涨了近 18 个百分点，而且真的让下游任务通过率翻倍。它不是一个只能靠更大模型解决的属性。

长任务的成败，常常在第一条岔路口就定了；能测出这个选择，才谈得上改进。

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。