商汤日均 6 万亿 token 是怎么抠出来的

行业里比谁的算力多是上一个版本的故事了。商汤大装置 CTO 宣善明 10 月 16 日在深圳一场峰会上给出的新叙事是：稀缺的不是芯片，是「稳定、低成本、持续产出高质量 token」的系统能力——他家平台现在的日服务量是 6 万亿 token。

一、发生了什么

量子位报道，10 月 16 日第十届 CSDI Summit 上，宣善明介绍了商汤大装置的推理实践。背景数据是：随着应用从对话问答走向多智能体协作和长任务执行，token 消耗呈千倍级增长，行业预计 2026 年推理支出将占 AI 基础设施即服务总支出的 55%，明年升至 59%。

核心打法叫 PD 分离。大模型推理分两段：预处理（Prefill）消化输入，计算密集；生成（Decode）逐字往外蹦，吃显存带宽。商汤把两段拆开，让国产算力集中干预处理，高带宽的高端 GPU 专注生成，中间用缓存数据传输衔接。在临港数据中心，他们把 800G、400G、200G 不同规格的网络混在一个万卡级集群里。特定测试配置下，同样数量的旗舰卡，整体 token 吞吐量提升到原来的 5 倍。

这套架构的难点在故障：可能要 30 到 50 个中低阶预处理节点才配得上一个生成节点，一个生成节点挂掉，大片资源就闲置了。商汤的对策是预留高端算力快速补位，加上让节点能在两种角色间动态切换。下一步还有跨地域的 PD 分离和更细粒度的 AF 分离——后者预期单卡吞吐提升 150% 到 200%，运营成本降 30% 到 40%。平台日均 6 万亿 token，预计四季度冲到日均 10 万亿。

二、跟你有什么关系

企业算力采购方：异构调度证明「中低阶芯片 + 少量高端卡」的组合能干原来纯高端卡才能干的活，同等预算下的可选配置变多了。

AI 基础设施工程师：这篇演讲等于一份公开的工程问题清单——节点故障的补位策略、跨机房缓存传输、不同代网络混布，都是你可以直接对照的坑。

国产芯片产业链：国产算力在这里的角色从「凑数」变成了承担预处理这类核心任务，是供应链受限环境下的一个现实出路。

三、怎么判断

1. 评估推理服务商时别只问 GPU 数量，问调度架构：有没有做预处理与生成的分离、故障补位机制是什么，这决定同等硬件下的实际吞吐。
2. 把 token 单价和服务质量一起看：首字延迟、生成速度、并发上限、调用成功率，四个指标合起来才是有效 token 的价格。
3. 关注缓存数据量的变化：商汤提到百万级上下文的缓存已从近百 GB 降到约 1GB，这类底层变化会持续改写跨域推理的可行性边界。

四、三个别信的说法

芯片越多推理越强。 商汤的实践恰恰说明，组织方式比数量更关键：同样多的旗舰卡，调度不当照样跑不过异构组合。买卡是起点不是终点。

异构调度是厂商的营销词。 它有真实的工程代价——30 比 1 的节点配比、故障闲置、网络混布，这些麻烦写得很具体，做不到这些细节的方案才是营销。

推理降本已经到头了。 PD 分离、跨域、AF 分离三步还没走完，AF 分离预期的 30% 到 40% 成本下降还没兑现。推理成本的下行通道还开着。

五、一句话结论

Agentic 时代的算力竞争，比的是谁把每一张卡放在它最擅长的那一段流水线上。

信息来源

• 日均6万亿Token服务背后，商汤大装置如何提升推理效能？（量子位，2026-10-19）

功能与价格以官方公告为准。本文写于 2026 年 10 月 20 日。