排行榜快满分，干活却不及格

一家金融科技公司的代码库里，模型接到的需求是：回调失败就把请求体打进日志，然后直接回个 200。模型照办了，单测全绿。但一个老工程师会先拦下来——这等于告诉对方「处理成功」，丢单和明文日志泄客户信息两颗雷都埋下了。

一、发生了什么

据钛媒体 10 月 27 日的梳理，评测聚合平台追踪的七百多个基准里，约三成六的百分制榜单已经饱和，榜首全部九十分以上，差一两分已经分不清是模型变强还是采样波动。而数据标注公司 Surge AI 一个多月里连发三份真实职场考卷，把旗舰集体打回及格线以下：资深工程师级编程题六十道，Claude 两款并列第一，通过率也只有四成二；跨行业表格题七十分，榜首不到四成；端到端岗位任务一百三十项，医疗赛道最好只有两成五。文章还给出一个扎心的估算：长流程任务按几十条细则连乘，就算每条九成七的正确率，整单通过率也就两三成。翻车的方式还不重样：一道表格题里，某旗舰把六家折扣到期的租户全找齐了，却没打开旁边那张提前解约的分表，漏掉涉及上千万美元预测租金的三家；另一道捐款功能题里，榜首模型没发现功能早就存在，另起炉灶写了一整套界面和数据表，两百多个测试全绿，交付的却是两套并行逻辑。

二、跟你有什么关系

给公司选模型的技术负责人：旧榜名次基本失效，要看新榜上「敢不敢上线」这类工程判断维度。模型厂商：榜单分差可能是题目太少造成的噪音，也可能是工具链外壳不对等的折损，回应质疑前先剥离测试条件。普通开发者：调用量最高的模型和最能交付的模型是两份成绩单，选型别只看一边。

三、怎么判断

1. 查考卷底牌：题目谁出的、一共几道、谁在为这场考试买单——出题方靠给实验室做标注赚钱，这层利益关系要计权。
2. 对齐线上条件：榜单用的外壳、模型版本和你生产环境是不是同一套，不是就要打折看分。
3. 按失败代价算账：同一批测试换算下来，榜首模型每做成一件合格任务约二十二美元，另一家旗舰三美元出头——如果你的业务出错就掉单，贵的反而便宜。

四、三个别信的说法

「新榜单更真实，照着买就行。」 出新卷的机构主业是给实验室供货，结论和生意高度一致，而且六十道题里差两个百分点只差一道题。

「调用量大等于能力强。」 高频低价的单步任务撑起了量，几十步的长流程是另一张考卷，两边分数经常倒挂。

「测试分数能直接预测上线效果。」 分数剥离了你的数据、你的工具链和你能承受的失败成本，最多算初筛。

五、一句话结论

榜单只回答「谁考得好」，你的业务要问「做砸一次赔多少」——答案在后者的账本里。

顺带一提背景：评测这门生意的水本身也不清。靠网友盲测起家的老牌榜单年初刚以十七亿美元估值融了一轮，而连发新卷的这家公司主业是给各大实验室供标注和评测服务，它复核老牌榜单的对战投票时否掉了过半结果，转头自己出题——文章的提醒是，看任何榜单前先查考官靠什么赚钱。这是背景补充，不是给任何一家的定论。

信息来源

• 钛媒体关于榜单信用重估的长文，2026-10-27

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。