京东广告把推理时延压下来 15%

广告这门生意，最后是在毫秒上结账的。全链路 300 毫秒的预算里，模型推理只分到 20 至 100 毫秒这一段；换成生成式推荐，算力需求又要抬一千倍左右。一头是死线，一头是暴涨的算力，中间没有余量。

一、发生了什么

据钛媒体 10 月 26 日报道（素材来自双方在华为全联接大会上的披露），京东广告与华为鲲鹏合作，把广告推理的端到端时延降低了 15%，618 大促核心场景 5% 流量已在鲲鹏集群上验证。

改造集中在三处。其一，缓存层级：原来「片上内存、本地内存、本地固态盘、远端数据库」四级缓存又小又慢，双方用灵衢互联协议把几百台机器连成一个 300TB 共享内存池，压成片上加内存两级，缓存间时延降了三个数量级。其二，RPC 通信：跳过传统网络协议栈直连，通信时延开销降 38%，大包时延降 84%。其三，组网：单个超节点支持上百万 vCPU，每节点 3.2Tb 互联带宽，跨层带宽不收敛。

需要强调口径：以上全部是厂商披露和官方自测数据，来自华为全联接大会上的双方发言，没有第三方实测佐证，引用时按厂商口径对待。落地过程也不是一帆风顺，报道称机房空间、液冷密度和内存池的稳定性都踩过坑。

二、跟你有什么关系

做推荐系统的：瓶颈常常不在 GPU。京东的说法是，数据预处理、检索和业务逻辑大量跑在 CPU 上，通算侧才是慢的那一环，值得先测自己的分布。

做采购决策的：超节点方案意味着把内存、网络、调度一起换掉，是重决策。看参数之前先看对方敢不敢在大促峰值跑真实流量——京东这次用的是 5% 流量加 618 验证，属于相对扎实的证据。

关注国产算力的：这套合作是「CPU 侧改造反哺智算」的样本，比单看芯片参数更能说明国产算力生态走到了哪一步。

三、怎么判断

1. 先问时延预算怎么分。全链路多少毫秒、推理占多少，这笔账各家不一样，别人降 15% 不代表你能降 15%。
2. 把厂商数字拆开看。「时延下降 85%」指的是某个 8MB 并发请求的 TP99，不是端到端；端到端那个 15% 才是业务体感，两者差一个量级。
3. 看省下来的时延花在哪。京东的答案是换成更大的模型——时延预算不压缩，扩容只会白白吃掉收益。这条逻辑比具体数字更值得抄。

四、三个别信的说法

「上了超节点，GPU 就不重要了。」 京东的说法恰恰是通算与智算要重新配比，华为预测 CPU 与加速卡的配比走向 1:1，京东从业务侧看甚至可能是 4:1。不是谁取代谁，是配比要重算。

「时延降 15% 就是收入涨 15%。」 厂商的逻辑是省下的毫秒用来跑更大模型、间接带收入，中间隔着模型效果和转化率，没有直接换算关系。这是披露，不是财报。

「四级缓存换成两级是通用最优解。」 前提是有大规模互联内存池可用。没有这套硬件条件，压缩层级等于把容量风险搬到时延上，普通团队照抄大概率翻车。

五、一句话结论

生成式推荐的算力缺口，一半藏在没人盯的 CPU 和通信层里，先量清楚再谈扩容。

信息来源

• 钛媒体：京东广告联合鲲鹏超节点，端到端推理时延降低 15%（2026-10-26）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。