GPT-6 的缓存折扣,怎么才吃得到
缓存命中省的是钱不是字数。讲清前缀匹配的规则、四个最容易踩的破坏点、官方诊断工具怎么读,以及四家客户的实际降幅。顺序错了,折扣再高也用不上。
同一段系统提示,第一次调用按全价算,第二十次调用可能只付一成。差别不在你写了什么,而在你把它放在第几位。
一、发生了什么
OpenAI 在 9 月 22 日发布了针对 GPT-6 的改进版提示缓存。官方说法是:缓存命中的输入 token 最高可享 90% 折扣,共享前缀在 30 分钟窗口内复用才有效,新系统默认就有更高的命中率。
机制不复杂。当多次请求共享同一段前缀,服务端复用已经算过的部分,只处理新增内容。所以它优化的不是"字数",是重复计算。对常驻 agent 这类场景最有用:连续几小时工作,每轮都带着同一套指令、同一批工具定义和同一份参考资料。
配套加了两个工具。一个是缓存仪表盘,看输入里有多大比例来自缓存,还有输入构成图,把命中与未命中的 token 分开。另一个是未命中诊断,会告诉你这次为什么没复用,比如工具定义变了,并给出受影响 token 的估算。官方给的返回示例里,字段直接写着原因和可复用 token 数、未命中 token 数。
这两样东西的意义在于:缓存不是开了就生效的开关,它是一个需要持续对照的结构问题。先看构成,再改顺序,改完再看构成。
官方还给了一组客户数字。GitHub Copilot 的首席产品官说,在数十亿次请求的规模上,需要重新处理的提示 token 占比下降超过一半。Strawberry Browser 的 CTO 说命中率提升几个百分点,成本降低 20%。Manus 的 agent 团队负责人说,不到一周命中率从约 85% 升到稳定超过 90%。Wordsmith 的 AI 工程师说,评估场景命中率从 83% 到 91%,缓存写入减少约三分之二,推理成本降低 36%。
二、跟你有什么关系
跑常驻 agent 的人。 收益最大。你的系统提示、工具定义、项目背景基本不变,只有用户这一轮的话在变。这正是缓存最理想的结构。
做 RAG 的人。 把检索到的资料放在用户问题之前,命中率会高很多;放在之后,每次都失效。顺序就是钱。
按量付费的小团队。 先看仪表盘再优化。命中率 40% 和 85%,对应的账单差一个档,但优化动作完全不同。
三、怎么用
读到这儿,可以顺路看 GPT-6 三条产品线,按任务怎么选 三条线差一百倍价钱,差别不在聪不聪明,在任务要不要它想那么久。这篇按任务给出对照、推理档位的用法,以及上线前必须算的三个指标。- 固定顺序:系统指令、工具定义、长期参考资料、本轮输入。越稳定的越靠前,越易变的越靠后。
- 工具定义不要删。不需要工具时,用允许工具列表限制,或把工具选择设为不调用,而不是把定义从请求里拿掉。删掉一次,后面全部失效。
- 改指令时往后加。用一条新的开发者消息在末尾覆盖旧规则,不要回头改开头那段。
- 需要调推理强度时,用配置更新追加在对话里,不要改请求级参数。官方明确说这种方式不会破坏缓存。
- 开显式断点。让系统知道你想复用到哪里,尤其是超长前缀。
- 看诊断再改。命中率掉了,先查是模型变了、工具变了、设置变了,还是输入变了。诊断会直接给原因,猜是浪费时间。
- 首次请求前预热。把共享指令和工具定义先跑一遍,用户来的时候就不用等这段计算。
四、三个别信的说法
"用了缓存,回答会变差。" 缓存复用的是计算结果,不是把旧答案拿来充数。输入内容一致,输出就一致。它不改变模型看到了什么。
"只要在 30 分钟内,就一定能命中。" 30 分钟只是有效期。前提是前缀逐字节一致,任何一处改动都会让后面全部作废。时间满足、内容不一致,照样不命中。
"命中率高就等于便宜。" 缓存只打折输入。如果你的输出很长,或者用的是更贵的档位,输入省下来的钱占比有限。先算清输入和输出各占多少,再决定要不要为命中率改架构。
五、一句话结论
提示缓存的本质是把"稳定"和"易变"分开摆放:把不变的放前面,把变化的放最后,钱就省下来了。做不到这一点,折扣再高也和你无关。
信息来源
- Better prompt caching for GPT-6,2026 年 9 月 22 日
功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。