AI百科网 AI教程
工具库

GPT-6 的缓存折扣,怎么才吃得到

缓存命中省的是钱不是字数。讲清前缀匹配的规则、四个最容易踩的破坏点、官方诊断工具怎么读,以及四家客户的实际降幅。顺序错了,折扣再高也用不上。

本文目录 · 6 节

同一段系统提示,第一次调用按全价算,第二十次调用可能只付一成。差别不在你写了什么,而在你把它放在第几位。

一、发生了什么

OpenAI 在 9 月 22 日发布了针对 GPT-6 的改进版提示缓存。官方说法是:缓存命中的输入 token 最高可享 90% 折扣,共享前缀在 30 分钟窗口内复用才有效,新系统默认就有更高的命中率。

机制不复杂。当多次请求共享同一段前缀,服务端复用已经算过的部分,只处理新增内容。所以它优化的不是"字数",是重复计算。对常驻 agent 这类场景最有用:连续几小时工作,每轮都带着同一套指令、同一批工具定义和同一份参考资料。

配套加了两个工具。一个是缓存仪表盘,看输入里有多大比例来自缓存,还有输入构成图,把命中与未命中的 token 分开。另一个是未命中诊断,会告诉你这次为什么没复用,比如工具定义变了,并给出受影响 token 的估算。官方给的返回示例里,字段直接写着原因和可复用 token 数、未命中 token 数。

这两样东西的意义在于:缓存不是开了就生效的开关,它是一个需要持续对照的结构问题。先看构成,再改顺序,改完再看构成。

官方还给了一组客户数字。GitHub Copilot 的首席产品官说,在数十亿次请求的规模上,需要重新处理的提示 token 占比下降超过一半。Strawberry Browser 的 CTO 说命中率提升几个百分点,成本降低 20%。Manus 的 agent 团队负责人说,不到一周命中率从约 85% 升到稳定超过 90%。Wordsmith 的 AI 工程师说,评估场景命中率从 83% 到 91%,缓存写入减少约三分之二,推理成本降低 36%。

二、跟你有什么关系

跑常驻 agent 的人。 收益最大。你的系统提示、工具定义、项目背景基本不变,只有用户这一轮的话在变。这正是缓存最理想的结构。

做 RAG 的人。 把检索到的资料放在用户问题之前,命中率会高很多;放在之后,每次都失效。顺序就是钱。

按量付费的小团队。 先看仪表盘再优化。命中率 40% 和 85%,对应的账单差一个档,但优化动作完全不同。

三、怎么用

读到这儿,可以顺路看 GPT-6 三条产品线,按任务怎么选 三条线差一百倍价钱,差别不在聪不聪明,在任务要不要它想那么久。这篇按任务给出对照、推理档位的用法,以及上线前必须算的三个指标。
  1. 固定顺序:系统指令、工具定义、长期参考资料、本轮输入。越稳定的越靠前,越易变的越靠后。
  2. 工具定义不要删。不需要工具时,用允许工具列表限制,或把工具选择设为不调用,而不是把定义从请求里拿掉。删掉一次,后面全部失效。
  3. 改指令时往后加。用一条新的开发者消息在末尾覆盖旧规则,不要回头改开头那段。
  4. 需要调推理强度时,用配置更新追加在对话里,不要改请求级参数。官方明确说这种方式不会破坏缓存。
  5. 开显式断点。让系统知道你想复用到哪里,尤其是超长前缀。
  6. 看诊断再改。命中率掉了,先查是模型变了、工具变了、设置变了,还是输入变了。诊断会直接给原因,猜是浪费时间。
  7. 首次请求前预热。把共享指令和工具定义先跑一遍,用户来的时候就不用等这段计算。

四、三个别信的说法

"用了缓存,回答会变差。" 缓存复用的是计算结果,不是把旧答案拿来充数。输入内容一致,输出就一致。它不改变模型看到了什么。

"只要在 30 分钟内,就一定能命中。" 30 分钟只是有效期。前提是前缀逐字节一致,任何一处改动都会让后面全部作废。时间满足、内容不一致,照样不命中。

"命中率高就等于便宜。" 缓存只打折输入。如果你的输出很长,或者用的是更贵的档位,输入省下来的钱占比有限。先算清输入和输出各占多少,再决定要不要为命中率改架构。

五、一句话结论

提示缓存的本质是把"稳定"和"易变"分开摆放:把不变的放前面,把变化的放最后,钱就省下来了。做不到这一点,折扣再高也和你无关。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。

下一站 · 产品动态 GPT-6 分成三条线:能力、价格和边界 Sol 和 Luna 不是新一代,而是同一代的三档定价。这篇给出官方基准、两条线的成本差、可用范围,以及哪些数字不能直接搬进采购表。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?