夜里两点跑对账脚本的小团队,大概都见过这种账单:同一份系统提示词和工具定义,白天用过十几次,凌晨那次却是“冷”的——中间隔了三小时,缓存早过期,整套前缀按未缓存价重新算一遍。
10月20日,OpenAI的API更新日志里多了一条:Responses API的提示缓存可以保留12小时,不再只有默认的30分钟。代价写在价钱那一栏——缓存写入价从未缓存输入价的1.25倍涨到2.5倍,读取价不变。
以GPT-6.1 Sol为例,输入2美元/百万token:30分钟档写入2.5美元,12小时档写入5美元,命中读取一律0.1美元。
缓存这个词,过去两年在发布会上的含义一直是“打折”。这一次,它第一次变成了一件要你多掏钱才能买到的东西。
贵不贵,取决于你还问不问它
顺着公开的价目自己算一遍就清楚了。
两次请求相隔三小时:30分钟档得写两遍(2.5倍输入价),12小时档写一遍加一次读取(2.6倍)——基本打平。
三次请求:30分钟档3.75倍,12小时档2.7倍,长档开始赢。
一天八次、散落在白天:30分钟档10倍,12小时档3.2倍。
反过来,如果写进去之后没人再问起,那12小时就是纯亏一倍。
所以这条更新真正服务的不是聊天,是那些会休眠的活:夜里跑一次的批处理、每小时醒一次的收件箱分类、销售一天打开四五次的助手。它们以前每次醒来都是冷的。而几秒钟一轮的高频Agent循环完全没必要改——那个节奏里,30分钟的缓存从来没冷过。
官方自己留的那句话
值得原样抄下来的,是OpenAI文档里的免责说明:12小时规定的是“读取计费资格对应的最短生命周期”,既不保证每次请求真的复用已存储的KV张量,也不保证延迟更低。
翻译过来就是:账单上按命中价算,不代表物理上命中了。 缓存给的是金额上的承诺,不是性能上的承诺。
真正该比的是另一栏
把这周各家的报价单摊开,“缓存读取”这一栏的离散程度大到不像同一个词:
-
DeepSeek V4.1 Flash 1017:输入0.15美元/百万,缓存读取0.003美元——便宜约50倍
-
Gemini 4 Argon:2美元对0.10美元——20倍
-
MiniMax M3.1 Flash:0.15对0.015美元——10倍
-
GLM-5.3 Flash:输入0.032,缓存读取0.030——几乎不打折
标价接近的两个模型,长对话跑一整天的账单可能差出好几倍,差的正是这一栏。
机制不复杂:命中的本质是厂商替你把KV张量留在显存里,占的是能拿去做推理的那份容量。折扣深浅取决于它有多缺显存,以及想不想用这个折扣把你钓进来。
同一周另外两个数字
同一天,ChatGPT与Codex负责人Tibo说,Codex和Work的登录用户缓存永久保留。这句目前只有社交平台上的说法,没进文档,官方也没讲清实现——真要用,盯着自己的账单验证。
再往前一天,DeepSeek开源了自家推理框架,写明缓存保留的设计目标是3天。那是自建部署的目标值,不是API承诺,但和付费买来的12小时放在一起看很有意思。
四条能马上做的事
1. 先量再改TTL。 给每个工作流记“同一前缀多久被复用一次”,只有隔几小时醒一次的冷链任务配得上12小时;热循环保持默认。
2. 混着用。 文档给了一个值得抄的写法:稳定的指令和参考资料放在最前面,单独设12小时断点;容易变的会话内容放后面走30分钟。一次请求最多四次写入。
3. 管住前缀。 缓存按精确前缀匹配,GPT-5.6起最少1024 token才给缓存。开头塞个时间戳、工具列表顺序抖一下,写入费照付,读取一分不省。
4. 比价表加一列。 尤其是长上下文、多轮、带大段工具定义的场景:输入价差一成,命中价差可能就是五倍。
当缓存的“保质期”也能卖钱,账得按分钟算
省钱的位置,正在从“用哪个模型”挪到“你怎么组织上下文”。不同厂商的缓存寿命、写入价、命中折扣都不一样,混着用的时候,账单会变得很难对。
EasyAPI这类聚合入口把多模型接入和费用明细收在同一层:一个Key接入所有主流模型,按任务分配路由,缓存命中的效果在账单上直接体现。缓存写入贵不贵、这12小时买得值不值,用量明细里能看出来。
数据来源:
-
OpenAI API 更新日志与提示缓存文档(10月20日条目)
-
各家缓存读取价为 OpenRouter 目录10月21日快照,均为所列 provider 的最低报价
-
“Codex/Work永久缓存”为负责人社交平台表述,未见于官方文档
-
DeepSeek 推理框架3天为开源设计目标值
OpenAI将API提示缓存有效期从30分钟延长至12小时,但写入成本翻倍(2.5倍输入价),读取价不变。该策略适用于低频、周期性调用场景(如批处理、 hourly agent),高频调用无收益。缓存命中不保证性能提升,仅保障计费资格。不同厂商缓存读取折扣差异显著(最高50倍),实际成本取决于复用频率、前缀稳定性及跨模型比价。开发者需通过TTL测量、前缀管理、混合缓存策略和明细账单监控优化支出。

497

被折叠的 条评论
为什么被折叠?



