模型路由只看平均分，会选错

你在调度层接了一个「智能路由」：每个请求先让一个小模型判断，难题再转给贵的模型。账单降了一截，直到最近——小模型升级后，路由器反而开始帮倒忙。

一、发生了什么

10 月 22 日发布的一项研究给路由这件事算了一笔理论账。主流做法是给每个候选模型单独训一个「成绩预测器」，判断它答不答得对某道题，据此分流。作者提出的问题很扎心：这套预测器真的比一个零成本的基线强吗？他们选的基线是模型自己的把握度——模型给出答案时附带的概率，也就是「它觉得自己有多对」。

论文推出三个结论。其一，任何能胜过模型自我把握度的预测器，都可以通过重新校准，把这份优势原封不动地转成模型自身的损失改善。其二，扣除预测器新增的参数成本后，它能赚到的优势有明确上限：候选模型的欠优程度，加上参数带来的增益。翻译成人话——模型越强，留给路由器的油水越薄。其三，扩展到「小模型不行就上大模型」的两级级联，结论同样成立。实验部分用十六个语言模型、四套基准验证：模型越欠优，预测器相对自我把握度的优势越大；模型一微调变强，这份优势就缩水。

先补个背景：模型路由这几年几乎是推理服务标配，理由很直观——大部分请求其实不难，用便宜模型就够，难题才让贵模型上，账单立刻好看。市面上卖这类能力的方案也多，各家都宣称自己的预测器更聪明。这篇论文做的事情是给整个品类画了一条盈亏线：路由的全部利润来自候选模型之间的差距，差距缩小，生意就变薄——这是背景，不是论文结论。它也解释了开头那个现象：小模型一升级，路由器的「智能」就贬值了，因为它的利润空间本来就是从小模型的短板里挤出来的。

二、跟你有什么关系

如果你在搭推理网关：先测一次基线——按模型自报把握度分流，再测你花真金白银训的路由器。两者差距不大时，路由器是在为团队交学费。

如果你是中小团队：新模型迭代越快，你训的路由器过期越快。论文里微调一下优势就缩水，意味着路由策略要跟着模型版本重做，这有持续成本。

如果你做模型评测：这份工作提醒你，性能预测要和模型自身的不确定性信号比，而不是和「随机选模型」比。

三、怎么判断

1. 上路由前先量化候选模型的差距。各模型在你的真实题目上表现接近时，路由省不出钱，直接用便宜的。
2. 拿模型自报的把握度当免费基线跑一遍，路由器必须明显赢它才值得上，这是论文给出的判定框架。
3. 每次候选模型升级，重跑一次路由收益评估，别沿用上个版本的结论。

四、三个别信的说法

错误说法一：上了路由一定省钱。 论文的界说明确指出，路由的全部增值来自候选模型的欠优程度和预测器的参数增益，模型够强时这两项都趋近于零。

错误说法二：预测器训得越大越准，就一定越值。 增益要扣掉参数成本，大预测器本身也是推理开销，净收益可能为负。

错误说法三：模型升级后路由照用即可。 实验显示模型通过微调变强后，预测器的优势随之缩小，路由策略不随模型更新就会失效。

五、一句话结论

路由赚的是模型之间「不够好」的钱——模型越好赚头越薄，上路由之前先问问自己：你的候选模型，欠优到值得养一个预测器吗。

信息来源

• 模型可预测性与路由研究（arXiv 摘要页），2026-10-22

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。