让 AI 管半年售货机,五个模型四个亏
基准让一个 LLM agent 通过网页后台经营 20 台售货机 180 个模拟日,仓库、补货周期、过期与运营成本俱全。五个大模型 agent 四个跑不赢规则基线,按推理成本折算后排名还会重排,文中给验收清单。
帮消费者网购的 agent 已经卷起来了,替老板经营生意的 agent 行不行?一篇 10 月 27 日提交的论文搭了个售货机考场:一个网页后台、20 台机器、模拟 180 天。结果五个大模型 agent,四个跑不赢一条朴素的补货规则。
一、发生了什么
AutoVend 考的是线上决策落到线下执行的完整链条。agent 通过网页界面管理五类点位的 20 台售货机,模拟器里共享仓库、采购周期、付费补货、库存过期、日常运营成本一样不少,目标是看线上的决定能不能变成持续的经济回报。对照是一条基于规则的库存控制基线——不聪明,但老实。五个被测的大模型 agent 里,四个没跑过它。
这个考场的价值在于把「决策」和「后果」钉在了一起。线上下单只是零成本的一条指令,线下执行却要花真金白银:补货要等、要付运费,货压多了会过期,点位多了要协调。模型 agent 的通病在这里暴露无遗:单看某些运营指标并不差,可库存积压和执行成本把这些优势吃掉了。作者还指出一个容易被忽略的口径问题:按每美元推理成本的回报排名,和单看回报的排名并不一致——赚钱多的模型未必赚钱效率高。轨迹分析点出三类老大难:想不出当下可行的动作、管不住库存承诺、拿到反馈改不动策略。这是论文原文的诊断,不是推测。
二、跟你有什么关系
做 O2O 或零售 agent 的:先别谈增长,先保证不输给一条规则基线,这是新的及格线。
算 agent 成本的:「回报除以推理成本」应该写进所有 agent 项目的验收指标,光看赚多少会选错模型。
做电商自动化的:线上决策和线下履约的成本要放进同一个优化目标,分开算一定失真。
三、怎么判断
读到这儿,可以顺路看 电脑操作 agent 干完活,谁来验货 读完能了解电脑操作型 agent 的任务完成度为何难自动核验:老办法只看局部画面,新思路让验证器自己动手探索取证,在线离线都能用,做 agent 数据与评测的人值得看。- 拿任何经营类 agent 先对规则基线:跑不过补货规则,就谈不上智能溢价。
- 汇报业绩时带上推理成本,两个排名可能给出相反的选型结论。
- 排查失败先看三处:可行动作识别、库存承诺、反馈修订,论文指认这里最容易断。
- 模拟器里的约束条件——仓库、时效、成本——一个都不能省,砍掉约束后 agent 的成绩会虚高,考出来的不是经营能力是运气。
四、三个别信的说法
指标好看就是经营得好。 单项运营指标的增益会被库存和执行成本直接吞掉,经济回报才是总账。
大模型 agent 天然强过规则。 五个里四个输给规则基线,智能要兑现到线下才算数。
贵的模型一定划算。 成本调整后的排名会重排,按回报选型可能选到最不划算的那个。
五、一句话结论
会下单只是入场券,能让线上的决定在 180 天里持续赚到钱,才算会做生意。
顺带说个选型提醒:论文按「每美元推理成本的回报」重排名次后,结果和只看回报的排法并不一致。任何 agent 采购决策都应该同时拿到这两个数字再签字。这是背景,不是论文结论。
信息来源
- 论文摘要:售货机长程经营基准 AutoVend(arXiv),2026 年 10 月 27 日提交
功能与价格以官方公告为准。本文写于 2026 年 10 月 29 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。