一盏熔岩灯,把 agent 跑分的水分照了出来
Muse Wonder 官方分数亮眼,却做不出一盏 3D 熔岩灯。本文拆解这次翻车背后的评测口径问题:翻车的是哪个版本、高分用了什么配置,以及选模型时怎么读一份 agent 跑分。
榜单上拿到高分的模型,让它做一盏玻璃外壳、熔岩会流动的灯,它交上来一个红色圆柱体。
一、发生了什么
10 月 12 日,Meta 发布 Muse Wonder 与 Wonder Full 两款模型,主打编码 agent、工具调用和长任务。官方给的数字很好看。按发布材料,加强版在 SWE-Marathon 这项长任务评测里拿了 57.5 分;换到 DeepSWE 1.1,分数是 79.0。两个榜、两种条件,先记住这一点。
随后开发者社区 BridgeMind 出了一道 3D 题:做一盏带透明玻璃罩、内部熔岩动态流动、有光照效果的熔岩灯。结果普通版 Muse Wonder 只生成了一个红色圆柱体。社区随即质疑模型存在针对题库过度优化的嫌疑。马斯克在相关帖子下只回了一个词,让争议热度再上一层。
Meta 首席 AI 官 Alexandr Wang 回应称,团队确实没有对 3D 演示类任务做过显式训练,事后看或许应该补上,但他仍建议开发者实际体验这款模型的编码能力。
这里有几层口径要分清。第一,翻车的是普通版 Wonder,而 SWE-Marathon 的高分来自 Full,两者能力档位不同。第二,Meta 官方 Model Card 写明,视觉与空间推理、尤其 3D 任务,是已知短板。第三,榜单本身不统一:同期对比模型的分数分别基于不同的执行框架,Wonder Full 那个 57.5 分还用上了更高的推理档位。分数可查,但比较条件并不对齐。
二、跟你有什么关系
选模型的开发者:榜单分是一套特定配置下的结果,你的代码库、工具链、预算都和评测环境不同,分数只能当初筛线索。
做技术采购的人:供应商甩给你一张跑分表时,先问执行框架、推理档位和任务版本,条件没写清的分数不具备可比性。
普通用户:模型「演示视频很惊艳」和「交付到手里能用」之间隔着大量工程细节,看演示别急着下结论。
三、怎么判断
读到这儿,可以顺路看 之前没人攻成的 PHP 漏洞,这次连美国政府关联防火墙都沦陷了 安全公司 Dream 披露首例 PHP2Shell 实际入侵:攻击者组合两个漏洞,15 分钟内拿到防火墙最高权限,25 台服务器沦陷,其中含美国政府关联机构。暴露在公网的管理接口是最大软肋。- 看跑分先看脚注:用了什么执行框架、多少推理预算、和谁在比。条件不同的两列分数,差距没有意义。
- 拿自己的真实任务试,别拿榜单选题。官方承认的短板项要单独出题验证,比如这次暴露的 3D 与视觉反馈。
- 除完成率外,记录失败次数、恢复能力和消耗。长任务里能不能自己爬起来,比单轮漂亮输出更有价值。
四、三个别信的说法
错误说法。「一次翻车证明 Meta 全是刷分。」单次失败只能说明这个任务类型没被训练覆盖,官方技术文章自己都在讨论泛化问题。要论证系统性过拟合,需要成体系的对照实验,一盏灯不够。
错误说法。「分数高就能直接上生产。」今天的 agent 成绩由模型、执行框架和推理预算共同堆出来,同一个底模换套外壳分数就变。生产要看的是你环境里的稳定表现,不是别人的考卷。
错误说法。「换成更大的模型就好了。」3D 任务缺的不是参数,是「渲染截图、发现画面不对、改代码」这条视觉反馈链。没有这条链,模型再大也不知道自己做错了。
五、一句话结论
榜单分是特定考卷的分数,你手里的活是另一张卷子,判卷人只能是你自己。
信息来源
- 雷峰网:Muse Wonder 建模翻车与官方回应,2026 年 10 月 19 日
功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。