#推理调度

首 token 延迟降了 32.4%

是石科技的 TokenFleet 把优化点从单实例挪到集群调度，官方称 P95 首 token 延迟降 32.4%。这篇说清它改的是哪一层、数据怎么来的、哪些收益不能换算成成本。