90% 的美国工时,落在 AI 榜单测不到的地方
Mercor 把 29 个主流 AI 基准映射到美国 923 个职业上,发现 90% 的工作小时对应的任务几乎没有覆盖。这篇讲清榜单测了什么、漏了什么,以及怎么用二三十条真实任务给自己建一个小测。
模型榜单一周一换,分数涨得很快。问题在于,那张榜单上的题,和大多数人每天在干的活,几乎是两批东西。
一、发生了什么
Mercor 研究团队发布了一份「美国经济基准地图」,把现有的 AI 评测映射到就业结构上。它用的是美国劳工部的 O*NET 分类:923 个职业、18,797 个具体任务、22 个职业族。每个方块代表一个职业,颜色深浅表示这个职业的任务被基准覆盖的比例。
覆盖的门槛定得不高:一个任务至少被 5 条基准提示词命中,才算「被覆盖」。即便按这个宽松标准,结果仍然刺眼:
- 923 个职业里,只有 208 个至少有一个任务达标;
- 18,797 个任务里,被覆盖的只有 924 个;
- 22 个职业族中,有 6 个没有任何任务达标;
- 按工时加权,90% 的美国工作小时花在「几乎或完全没有基准覆盖」的任务上。
覆盖的分布也不随机。被此前研究标为「AI 暴露度高」的任务,出现在基准里的概率大约是未暴露任务的 6 倍;O*NET 里重要性评分最高的任务,被覆盖的概率是最低组的 6 到 10 倍。换句话说,基准优先测了「工资总额大、AI 相关性强、看起来重要」的活。
这份报告的思路值得记住:先问「测到没测到」,再问「考了多少分」。多数榜单只回答第二个问题。
报告还点了四个职业:投资银行、法律、会计、软件工程。在这四个职业里,能被纳入加权评分的任务不到三分之一。
报告自己承认局限:29 个基准是自选的样本,不完整清单必然低估覆盖率,结论是暂定的。
二、跟你有什么关系
靠榜单选模型的人:榜单分数高,说明它在「被覆盖的那 10%」里强。你的活如果不在这 10% 里,分数和你的体验可能完全无关。
做行业落地的人:医疗、教育、建筑这些职业族的覆盖极低,不是因为 AI 在这些行业没用,是因为没人给它们出题。这里既有机遇,也有陷阱——没有基准,就没有可比的效果证据。
写评测的人:这份地图最实用的部分是方法,不是结论。用职业—任务—提示词三层结构去查覆盖,比堆更多题目更能发现问题。
三、怎么判断:给自己建一个小测
- 先定位你的任务。 打开 O*NET 或你自己的岗位描述,把日常工作拆成 10 到 20 个具体任务。别写「写报告」,写「把三份财报里的营收口径统一后写一段对比」。
- 每个任务出 3 条题,凑成 30 到 60 条。 用真实输入,别用干净的示例。带上你行业里的表格、缩写、历史背景。
- 定一个能判对错的评分方式。 要么有标准答案,要么有明确的检查项(数字对不对、格式对不对、有没有漏项)。没有评分标准的评测,最后一定会变成「感觉还行」。
- 固定这套题,每次换模型都跑一遍。 这套题的价值随时间增长,因为它记录的是你的业务,不是别人的榜单。半年后回看记录,你会发现自己对模型的判断比任何榜单都准。
四、三个别信的说法
「榜单第一就是最适合我的。」 榜单测的是被覆盖的任务,而且偏向高曝光、高工资的活。你的任务如果属于那 90%,榜首和榜尾的差别可能小于你换个提示词。
「90% 没覆盖,说明 AI 没什么用。」 覆盖不等于能力。很多任务没被基准测过,但模型照样能干得不错。这份报告说的是「我们不知道」,不是「它不行」。区别很重要:不知道意味着你得自己测。
「多补几个基准就解决了。」 报告里有个细节值得注意:即使把基准数量翻几倍,只要选题逻辑还是「优先高工资、高曝光」,长尾职业依然会被漏掉。问题在选题的分布,不在数量。
五、一句话结论
榜单告诉你模型的天花板在哪,不告诉你它离你的地板有多远——那一段,只能自己量。
信息来源
- Mercor Research《A benchmark map of the US economy》,2026:https://www.mercor.com/research/labor-index/benchmark-map/
功能与价格以官方公告为准。本文写于 2026 年 10 月 17 日。