一天 155 万亿 token 的推理框架开源了

一个集群，一天处理 155 万亿个 token。任何做推理的人看到都要算一笔账。

但先别急着算。这个数的分子里，绝大部分不是模型算出来的。

一、发生了什么

DeepSeek 在 10 月中发布了 DeepInfer，把自己在线服务用的推理框架整个开源，许可证是 Apache 2.0。它支撑的是 DeepSeek-V4.1-Flash 的大规模服务，底座是深度定制过的 vLLM，官方致谢里也点了 SGLang 和 TensorRT-LLM。

几个公开数字：单集群每天 155 万亿 token，生成速度 230 token/s，编码类任务能到 300 token/s，首 token 平均延迟 400 毫秒。缓存命中率 96%。按官方给的生产画像，预填充侧约 150 万 token/s、解码侧约 1.4 万 token/s，涉及约 2400 张卡。

收入口径是每张加速器每小时 38 美元，按非高峰定价算。API 价格是每百万输入 token 0.15 美元、输出 0.60 美元。

硬件支持两条线：英伟达的 SM100（Blackwell），以及华为昇腾 950，构建时用一个环境变量切换。缓存放在独立的 3FS 集群上，约 100 PiB 的固态盘，agent 流量保留三天，聊天流量保留七天。

"完全开源"有个边界要说清楚：KV 缓存管理和负载均衡这两块没有完整放出来，因为它们和内部基础设施绑得太紧。所以拿到代码不等于能复刻一个同样的服务。

二、跟你有什么关系

要自建推理的团队。 你能抄的是解码和预填充的调优，抄不到的是缓存层。而这次的数字，恰恰是缓存撑起来的。

算成本的负责人。 别拿"每卡每小时 38 美元收入"去反推利润。那是收入，不是毛利。第三方估算的八成净利率没有计入固态盘集群、CPU、网络、闲置容量和运维。

看开源格局的人。 这是一次"生产经验回流"：DeepSeek 是 vLLM 的早期使用者和贡献者，现在把生产改造交回社区。vLLM 团队在 GB200 上复现了解码吞吐，误差 6% 以内。

三、怎么判断你要不要用

1. 先测你自己的缓存命中率。如果你的流量是大量重复的系统提示加少量新问题，命中率会很高，这套架构对你有效。如果每个请求都是全新长文本，155 万亿这种数字跟你没关系。
2. 算总拥有成本，不只算卡。缓存要盘、要网、要人维护，还要为峰值留余量。把这几项加进去，再看单价。
3. 看模型架构匹不匹配。这套框架是针对 DeepSeek 自家模型深度优化的，换一个开源权重，收益不会自动平移。
4. 先做小规模复现。挑一个阶段（解码或预填充），用官方给的方法测一遍，对上再谈扩容。
5. 注意许可与合规。Apache 2.0 好用，但昇腾那条线的工具链和驱动要单独确认版本。

四、三个别信的说法

"155 万亿 token 都是模型新算的。" 官方自己给了缓存命中率 96%。这个数字衡量的是服务吞吐总量，包含大量直接命中缓存的请求。把它当成"算力需求"去推算 GPU 数量，会高估一个数量级。

"代码开源了，谁都能搭一个一样便宜的 API。" 缺的两块正是最难的：KV 缓存的调度和跨副本的负载均衡。前者决定你能不能吃到那 96%，后者决定你的集群会不会一半闲着。官方也没披露昇腾上的同等生产效率。

"八成利润率说明推理生意很赚。" 这个数是第三方按每卡每小时 5 到 8 美元成本估出来的，没有算存储集群、网络、闲置和工程人力，而且建立在一个极度缓存密集的流量结构上。换一家流量结构不同的公司，同样的框架可能亏钱。

五、一句话结论

这套栈真正省钱的不是算得快，是算得少——把重复的输入记住，比把模型跑快更值钱。

信息来源

• AINews: DeepSeek DeepInfer, open source SOTA inference（Latent Space） 2026-10-19

功能与价格以官方公告为准。本文写于 2026 年 10 月 22 日。