推理不花钱?它把账单留在了存储上
一段 8 秒的生成视频,用户看到的是 4MB,后端留下 500MB。这篇算清推理留下的存储账,并给出三个能在下个预算周期前自查的问题。
财务看到的是每秒生成多少钱。运维看到的是磁盘又在报警。这两个数字描述的是同一件事,只是不在同一张表上。
一、发生了什么
MIT 科技评论 10 月 22 日发了一篇由西部数据出品的文章。以下数字均为厂商口径,来自其内部测量与赞助调研。
一个具体例子:一段 8 秒的生成视频,交付给用户的文件是 3.97MB 的 720p。后端为此留下的数据超过 500MB,包括日志、缓存的上下文、中间渲染结果、备份和安全审核记录。用户看到的文件和后端实际占用之间,差了 130 倍。企业要是生成更长、更高分辨率的片子,单条的残留会进到几百 GB。
需求侧的数字:麦肯锡预计到 2030 年,推理算力的年复合增速是 35%,训练是 22%;到本十年末,推理会占到数据中心总需求的四成以上。
一份由西部数据赞助、覆盖 763 位 IT 与业务决策者的 IDC 调研结果是:过去 12 个月,约 95% 的受访者称生成式 AI 让数据量上升,其中约 61% 的增幅在 25% 以上;96% 预计未来需要更快的归档检索能力来支撑推理和检索增强。
文章引了一位超大规模云厂商产品经理的说法:多备存储可以理解为让 GPU 不闲着的优化,最怕的是 GPU 在等数据,几个小时的闲置很快就会变成很贵的一笔钱。
二、跟你有什么关系
管预算的人:把"AI 基础设施"等同于"GPU",今年可能还行,明年会漏。算力的账有周期,训练跑完就停;存储的账没有周期,只增不减。
做视频和图像生成的:这类负载的残留比例最高。缓存、中间帧、审核留档,每一样都不能立刻删,因为都可能被下次请求复用。
做 RAG 的:被检索的语料库会一直长大,而检索要求低延迟。冷数据被频繁唤醒这件事,会同时压住成本和响应时间。
三、怎么判断
读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。文章最后给了三个问题,可以直接拿去问自己团队。
- AI 生成内容的保留策略是谁定的?保留多久、哪些能删、谁有权删。多数团队答不上来,因为从来没人定过。
- 存储采购是按训练期的性能需求买的,还是按数据的实际生命周期买的?前者要的是热存储,后者大头在温、冷层。
- 明年 AI 用量翻倍,存储成本是跟着翻倍,还是更糟?这一问测的是架构有没有分层,而不是容量够不够。
再加一条自己的:把一个典型请求的输入、输出、以及后端残留分别量一次。三个数放在一起,才知道钱花在哪一层。
四、三个别信的说法
存储比算力便宜,可以忽略。 单价确实便宜,但量在另一头。文章的说法是,把存储当成"算力预算里的零头"的团队,12 到 18 个月后会发现这个零头变成了项目总成本的显著部分,而那正是决定要不要扩容的时点。
把日志和缓存都删了就能省钱。 删了会影响两件事:审计合规,以及下一次请求的命中率。命中率掉下去,GPU 空转的损失比省下的磁盘钱多。
这是厂商软文,数据不能看。 数据来源确实要打折——测量方法没有公开,调研由硬盘厂商赞助,结论指向也很明确。但"推理会持续留下数据"这个结构性事实与厂商无关,自己量一遍就能验证。
五、一句话结论
训练是一次性支出,推理是订阅制的账单,而它扣的是存储。
信息来源
- MIT 科技评论:推理在存储上留下的账单,2026 年 10 月 22 日
功能与价格以官方公告为准。本文写于 2026 年 10 月 23 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。