DeepSeek 把推理框架也开源了

模型权重开源不稀奇，稀奇的是把自家线上服务用的引擎也交出来。10 月 20 日，DeepSeek 在 GitHub 上传了推理框架 DeepInfer，README 第一句就说明白：这是驱动 DeepSeek 大规模生产服务的高性能推理框架。

一、发生了什么

DeepInfer 首发版本提供离线推理，支持的模型是 DeepSeek-V4.1-Flash。功能清单相当扎实：优化过的算子（FlashMLA、DeepGEMM、DeepEP 等自家内核库都在列）、注意力并行和 MoE 专家并行、用草稿 token 加速解码的置信度调度验证、零开销批调度器、跨批次结果一致的确定性推理，以及用正则或 JSON 约束输出的结构化生成。

硬件上同时支持英伟达 SM100 GPU 和华为昇腾 950 NPU，两条依赖文件分开维护，昇腾不是附赠的移植，是和英伟达并列写进支持列表的一等公民。协议是 Apache 2.0，商用无障碍。默认权重指向 Hugging Face 上的 DeepSeek-V4.1-Flash-1017，第一次运行自动下载，内网环境也可以指向本地副本。README 也写了没包含的部分：KV 缓存系统、预填充与解码分离部署、多副本负载均衡，这些要自建完整服务还得自己补。作者致谢里坦承框架主要基于 vLLM 改造，参考了 SGLang 和 TensorRT-LLM。

这延续了 DeepSeek 今年的节奏：先开源 FlashMLA 等底层算子库，9 月底又放出了昇腾平台的配套组件，算子、引擎、Agent 框架逐层往下交。对整个推理服务生态来说，多了一个重量级参考实现；对其他模型厂商来说，免费午餐又多了一道。

二、跟你有什么关系

自己部署模型的企业：可以直接在自家机房复现 DeepSeek 同款推理栈，英伟达和昇腾两条路线都能走，不用再猜它线上到底怎么跑的。

推理框架的开发者：确定性采样、批量不变推理这些企业刚需功能有了参考实现，尤其是金融、审计场景需要的「同输入同输出」。

普通 API 用户：没有直接影响，但推理成本曲线大概率继续往下走——开源竞争会逼着所有服务商降价。

三、怎么用

1. 先对号入座：需要 Linux、Python 3.12 和较新的编译器；英伟达卡要 CUDA 13，昇腾要 CANN 9.2。环境变量里选好加速器再跑构建脚本，不符合就先别折腾。
2. 跑官方示例做冒烟测试，默认会从 Hugging Face 拉取 V4.1-Flash 的权重，内网环境提前设置本地模型目录。想要「同输入同输出」，记得打开批量不变推理的开关并固定随机种子。
3. 想上生产的话，对照 README 的「未包含」清单盘点缺口：缓存系统、预填充解码分离、负载均衡都要自己接，评估完工作量再决定自建还是买服务。

四、三个别信的说法

开源了就等于开箱即用。 首发只有离线推理，完整在线服务的关键件不在里面。当它是高质量的参考实现和自建起点，别当成品。

支持昇腾就说明两边体验一样。 仓库里部分特性标注了「仅英伟达」，比如批量不变推理和确定性采样。昇腾路线的功能完整度要看文档逐项核对。

用它跑分就能复现 DeepSeek 的服务性能。 官方基准是 4 张 SM100 卡测预填充、64 张测解码，还都限定在同一个超节点域内，普通团队凑不出这个规模，数字仅供参考。仓库给了复现脚本，想较真可以按自己的卡数重测一遍。

五、一句话结论

权重之外连引擎一起交出来，开源竞争已经从模型卷到了基础设施。

信息来源

• DeepInfer 仓库（GitHub，2026-10-20）

功能与价格以官方公告为准。本文写于 2026 年 10 月 20 日。