手机 agent 该记住的不是操作,是进度
论文把「经过验证的任务进展」做成手机 GUI agent 的记忆核心:执行中维护推进状态,任务后沉淀可复用操作。单开状态跟踪就把成功率从 12% 提到 28%,token 消耗降近四成,文中给出接入步骤。
让 agent 替你在手机上办事,最气人的场景不是做错,是做到一半忘了自己干到哪。一篇 10 月 27 日提交的论文把「任务推进到哪」本身做成了记忆,手机操作类任务的成功率直接翻倍还多。
一、发生了什么
论文提出的机制叫 Task Advancement Memory,核心是一个定义:任务推进指的是经过验证的实质进展,不是屏幕变化。执行过程中,任务推进状态会记录「已验证的进展如何改变了剩余目标」,让 agent 能跨应用接着之前的成果干,而不是从头再来。每个任务结束后,推进监督环节负责复盘:把真正产生了已验证局部结果的交互挑出来,抽象成可复用的操作,连同输入、预期效果、验证条件的关系一起存下来。妙处在于失败任务也有收获——只要过程中有局部成功,那段操作就会被保留。
数字来自手机 GUI 任务集 MobileWorld 的纯界面模式:只开推进状态这一项,成功率就从 12.0% 提到 28.2%;完整机制对上最强基线,相对提升 17.6%,每解决一个任务的生命周期 token 消耗减少 38.7%。在 SPA-Bench 的单应用英文三级设定里,做到了该设定下最好的任务成功率。
为什么这类任务特别难?论文点了两条:长流程要跨应用传递信息,比如在备忘录里查到地址、再去地图应用里搜,中间任何一环断掉都前功尽弃;而且有效操作和失败尝试混在一起,靠肉眼分不清哪段值得学。把「验证过的进展」单独拎出来记账,等于给 agent 装了一个不怕干扰的进度条。这是背景,不是论文结论。
二、跟你有什么关系
做手机或桌面 agent 的:记忆别只存截图和操作序列,先回答「哪些结果是验证过的」,这一步对成功率影响最大。
做 agent 成本优化的:token 省了将近四成,来源是少走回头路,不用牺牲上下文质量。
做自动化测试的:「可验证的局部结果」是很好的断言设计思路,比整任务成败这种粗口径细得多。
另外提醒一句成本账:token 省近四成的同时,任务成功率是上升的,这说明省下来的不是「该做的验证」而是「来回重试」。两个数字要一起看,只报省 token 不报成功率的优化都要打个问号。
三、怎么用
读到这儿,可以顺路看 电脑操作 agent 干完活,谁来验货 读完能了解电脑操作型 agent 的任务完成度为何难自动核验:老办法只看局部画面,新思路让验证器自己动手探索取证,在线离线都能用,做 agent 数据与评测的人值得看。- 给任务列「剩余目标」清单,每完成一步就验证并勾掉,状态跟着清单走,不跟着屏幕走。
- 任务结束做一次复盘,只沉淀「输入-效果-验证条件」三者俱全的操作,存成可复用模板。
- 失败任务别整段丢弃,先扫一遍有没有可验证的局部成功,有的话照样入库。
四、三个别信的说法
记忆就是存历史操作。 论文的立场正相反:没有验证的交互不配进记忆,成败任务里只留被证实有效的片段。
长任务必须靠更强的模型。 状态跟踪一项就把成功率从一成二提到两成八,先把进度管好再谈换模型。
失败尝试是纯浪费。 带有局部成功的失败任务同样贡献可复用操作,直接丢弃等于扔掉一半经验。
五、一句话结论
agent 干长活,记住的不是每一步,而是哪些步被证明算数。
信息来源
- 论文摘要:任务推进作为 GUI agent 的状态与监督(arXiv),2026 年 10 月 27 日提交
功能与价格以官方公告为准。本文写于 2026 年 10 月 29 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。