首 token 延迟降了 32.4%

GPU 全忙，请求却在排队。这两件事同时发生，才是集群真实的样子。

一、发生了什么

据量子位 10 月 20 日报道，在 2026 CCF 全国高性能计算学术大会期间，是石科技发布了分布式调度框架 TokenFleet。

它要解决的不是单个推理实例跑多快，而是同一批卡怎么分配给不同请求。拆开看有三块。

第一块叫 TokenPilot，管请求发到哪个实例。它把缓存复用的收益和排队代价放在一起算：命中某实例的 KV 缓存能省掉重复的输入计算，但那个实例可能正排着长队，省下的算力会消耗在等待上。

第二块叫 FleetMind，管跨机房。有空闲 GPU 不等于能接单，还要看目标模型是否部署、版本是否匹配、端点是否就绪、网络要传多久。它的做法是先选机房，再由本地引擎选实例。

第三块叫 SLOMax，管混合负载。短对话要快，长文档吃显存，离线批量看完成期限，三类混在一个队列里会互相挤。

数据是厂商给的。用 GLM5.3 做调优，在所述显卡集群与负载条件下，启用预测延迟路由后 P95 首 token 延迟降低 32.4%，P50 降低 71.3%。另一组测算里，总输出吞吐只涨约 1.5%，但达标输出吞吐提高约 29.4%，达标比例从约 67% 升到约 86%。

这两个数字的差别，是这篇报道里最值得看的地方。

二、跟你有什么关系

自己搭推理集群的团队。 如果你们的多实例分流还只看请求数，这组数据说明还有一层空间：按工作量估，而不是按条数分。

采购算力的人。 是石科技自称独立第三方全栈算力运营商，不绑定某一家模型厂商，纳管超过 20000P 算力、运营 10 多个超智算中心，含 2 个国家级超算中心，SLA 称在 99.95% 以上。这些是公司自述，没有第三方审计。

评估调度方案的人。 看 goodput，别看总吞吐。原文把达标输出吞吐定义为：测试时段内成功完成且满足约定服务要求的输出 token 总量，除以测试时长。它把超时、取消、重复计算都算成损耗。

三、怎么读这类调度数据

1. 先看延迟口径。P95 反映尾部请求，P50 反映中位水平。只报一个平均值，等于把长尾藏起来。
2. 再看改善率的算法。原文按（基线值减优化值）除以基线值计算，是相对改善，不是绝对值。基线本来是多少，决定了这个百分比的分量。
3. 记住延迟不等于成本。原文自己写了一句：延迟下降不直接等于成本下降。要算成本，得同时看吞吐和资源占用。
4. 分清测算和实测。SLOMax 那组数字，原文标注为「收益测算示例」，不是生产环境统计。

四、三个别信的说法

「首 token 延迟降三成，成本就降三成」。 延迟和成本是两条线。请求变快只影响体验，成本取决于单位时间内能交付多少合格 token。把两者等同，是最常见的换算错误。

「这是第三方评测」。 数据来源写的是是石科技大会演讲材料，属于厂商自测口径，测试集群和负载都由厂商选定，没有独立复现。

「调度能替代扩容」。 调度是把已有算力分配得更合理，上限还是那批卡。负载超出总容量时，再好的调度也只能决定谁先排队。

五、一句话结论

这版优化动的不是模型，是排队规则；它真正的价值在于把考核指标从「GPU 有多忙」换成了「有多少请求按时交付」。

信息来源

• 首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效 - 量子位，2026 年 10 月 20 日

功能与价格以官方公告为准。本文写于 2026 年 10 月 22 日。