AI百科网 AI教程
AI百科

推理不花钱?它把账单留在了存储上

一段 8 秒的生成视频,用户看到的是 4MB,后端留下 500MB。这篇算清推理留下的存储账,并给出三个能在下个预算周期前自查的问题。

本文目录 · 6 节

财务看到的是每秒生成多少钱。运维看到的是磁盘又在报警。这两个数字描述的是同一件事,只是不在同一张表上。

一、发生了什么

MIT 科技评论 10 月 22 日发了一篇由西部数据出品的文章。以下数字均为厂商口径,来自其内部测量与赞助调研。

一个具体例子:一段 8 秒的生成视频,交付给用户的文件是 3.97MB 的 720p。后端为此留下的数据超过 500MB,包括日志、缓存的上下文、中间渲染结果、备份和安全审核记录。用户看到的文件和后端实际占用之间,差了 130 倍。企业要是生成更长、更高分辨率的片子,单条的残留会进到几百 GB。

需求侧的数字:麦肯锡预计到 2030 年,推理算力的年复合增速是 35%,训练是 22%;到本十年末,推理会占到数据中心总需求的四成以上。

一份由西部数据赞助、覆盖 763 位 IT 与业务决策者的 IDC 调研结果是:过去 12 个月,约 95% 的受访者称生成式 AI 让数据量上升,其中约 61% 的增幅在 25% 以上;96% 预计未来需要更快的归档检索能力来支撑推理和检索增强。

文章引了一位超大规模云厂商产品经理的说法:多备存储可以理解为让 GPU 不闲着的优化,最怕的是 GPU 在等数据,几个小时的闲置很快就会变成很贵的一笔钱。

二、跟你有什么关系

管预算的人:把"AI 基础设施"等同于"GPU",今年可能还行,明年会漏。算力的账有周期,训练跑完就停;存储的账没有周期,只增不减。

做视频和图像生成的:这类负载的残留比例最高。缓存、中间帧、审核留档,每一样都不能立刻删,因为都可能被下次请求复用。

做 RAG 的:被检索的语料库会一直长大,而检索要求低延迟。冷数据被频繁唤醒这件事,会同时压住成本和响应时间。

三、怎么判断

读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。

文章最后给了三个问题,可以直接拿去问自己团队。

  1. AI 生成内容的保留策略是谁定的?保留多久、哪些能删、谁有权删。多数团队答不上来,因为从来没人定过。
  2. 存储采购是按训练期的性能需求买的,还是按数据的实际生命周期买的?前者要的是热存储,后者大头在温、冷层。
  3. 明年 AI 用量翻倍,存储成本是跟着翻倍,还是更糟?这一问测的是架构有没有分层,而不是容量够不够。

再加一条自己的:把一个典型请求的输入、输出、以及后端残留分别量一次。三个数放在一起,才知道钱花在哪一层。

四、三个别信的说法

存储比算力便宜,可以忽略。 单价确实便宜,但量在另一头。文章的说法是,把存储当成"算力预算里的零头"的团队,12 到 18 个月后会发现这个零头变成了项目总成本的显著部分,而那正是决定要不要扩容的时点。

把日志和缓存都删了就能省钱。 删了会影响两件事:审计合规,以及下一次请求的命中率。命中率掉下去,GPU 空转的损失比省下的磁盘钱多。

这是厂商软文,数据不能看。 数据来源确实要打折——测量方法没有公开,调研由硬盘厂商赞助,结论指向也很明确。但"推理会持续留下数据"这个结构性事实与厂商无关,自己量一遍就能验证。

五、一句话结论

训练是一次性支出,推理是订阅制的账单,而它扣的是存储。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 23 日。

下一站 · 产品动态 华为高管:七成算力没形成有效价值 存储专委会预计今年全球存储产业规模破 1.7 万亿美元。这篇讲华为为什么把算力利用率低归因到存储,以及这套说法里哪一半是生意。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?