OpenAI 针对 GPT-6 系列模型推出了改进版提示词缓存机制。面向需要连续运转数小时的持久智能体,官方给出了最高 90% 的输入折扣,并配套上线了监控面板、断点标记和缓存诊断工具。表面上看,多轮代码重构和复杂文档检索的调用成本终于要被大幅打薄。
但在各大开发者社区里,预期中的成本红利并未立刻兑现。有团队在论坛贴出账单:即便在一次 Codex 运行中取得了 98% 的缓存命中率,处理超过 700 万输入词元,原本能跑 5 个小时的配额依然在短时间内被迅速烧光。宣传口径里的一折优惠,并没有自然转化为一折账单。
算力账本里的隐性门槛
大模型从单轮问答走向长程任务,上下文膨胀是必然结果。GPT-6 的缓存机制延续了滑动窗口设计:只有当共同前缀达到 1,024 个词元 门槛时才会触发缓存,有效生命周期统一为 30 分钟。在这 30 分钟内,每次成功复用都会自动刷新存活时长,单次请求最多支持 4 次缓存写入。

但省钱的前提是算得过来账。以 GPT-6 Astra 为例,常规输入单价为每百万词元 10 美元,命中的缓存读取确实只要 1 美元,降幅达九成;但初次写入或未命中的缓存写入,单价其实是 12.50 美元,比常规输入上浮了 25%。如果一个前缀写入后无法被多次高频命中,单次调用的成本不仅没有下降,反而更贵。
对比其他头部模型,每家在账本上的偏好完全不同。Anthropic 的 Claude Opus 5.5 把常规输入定在 4 美元,缓存读取压至 0.20 美元,但写入区分了 5 分钟 5 美元和 1 小时 8 美元两档阶梯。Google 的 Gemini 3.6 Flash 虽然基础输入只要 0.75 美元,隐式缓存门槛也设在 4,096 个词元,但对显式缓存额外按每小时每百万词元 0.50 美元收取纯存储费用,这项计费规则将持续执行到 2026 年 12 月 31 日。OpenAI 的做法是省去独立的存储计量,直接把存储租金打包摊进了 1.25 倍的初始写入单价里。
命中率掩盖下的消耗陷阱
为什么在高达 98% 的命中率下,配额依然会瞬间蒸发。核心原因在于智能体内部的调用拓扑结构改变了成本重心的分布。

决定智能体账单上限的往往不是输入规模,而是失控的调用频次与输出倍率。
当主控智能体为了协调子任务,设置了每 30 秒轮询一次状态的逻辑,每一次轮询都会拖着数万甚至数十万词元的历史上下文重新请求。就算这些输入前缀九成以上被缓存命中,输入账单被压得很低,但 GPT-6 Astra 的输出单价高达 每百万词元 50 美元。再加上多轮交互中持续累积的思维链计算,高频调用的累加效应会轻而易举吞噬掉缓存省下来的那点差价。
古人讲兵马未动,粮草先行。在基础设施里,前缀树的计算复用同样极其严苛。缓存本质上是一张严格对齐的静态快照,稍有扰动便全盘失效。
- 风险.如果智能体缺乏主动退避或事件驱动机制,单纯依赖高频轮询,再高的缓存命中率也只是在放大底层计算的空转损耗。
脆弱的前缀与落地的断层
在实际工程落地中,缓存击穿最常见的元凶是工具链定义变动。官方诊断工具的排查日志显示,tools_changed 是导致未命中的高发原因。

目前广泛使用的标准化协议(如 MCP 服务器)会在运行时动态广播工具列表变动。哪怕只是某个工具的描述文本微调了一个标点,或者序列化时的参数字段顺序发生了变化,从该位置往后的所有缓存都会在瞬间作废。OpenAI 为此给出的解法是保持全量工具结构绝对静止,只通过 allowed_tools 参数在运行时限制调用范围,或者将新指令追加在消息流末尾。
更微妙的断层出现在官方接口与客户端实现之间。API 文档中明确支持使用 configuration_update 在会话中途平滑调整推理强度,避免破坏已缓存的上下文。然而在 GitHub 的 Codex 仓库议题(#42996)中,开发者发现客户端界面仍然在直接修改请求层级的推理配置,导致底层调用频繁产生未命中,不知不觉推高了账单。
技术投入与业务收益的权衡同样很现实。在基准评测中,GPT-6 Astra 在智能体测试 OSWorld 2.0 上拿到了 72.6% 对比 65.7% 的成绩,AutomationBench 上更是以 41.4% 大幅领先 GPT-5.6 Sol 的 18.1%。但在实际的代码基准 DeepSWE v1.1 上,两者的表现是 74.1% 对比 72.7%,综合智能指数也仅仅是 61.2 对比 60.9。
开发者社区的普遍反馈很一致:Astra 的综合开销大约是 GPT-5.6 Sol 的 2.5 倍。对于普通的代码修改和常规日常补全,这种性能溢价缺乏吸引力;它的真正阵地,目前仅限于极少数高难度的未知探索与长时间计算机界面接管。
- 建议.在生产环境中,应优先通过预热接口锁定通用前缀,严格固化工具模式顺序,并以事件推送替代轮询,才能真正守住缓存带来的利润空间。
