想让模型记住你12小时?OpenAI的做法是:写入贵一倍

OpenAI将API提示缓存有效期从30分钟延长至12小时,但写入成本翻倍(2.5倍输入价),读取价不变。该策略适用于低频、周期性调用场景(如批处理、 hourly agent),高频调用无收益。缓存命中不保证性能提升,仅保障计费资格。不同厂商缓存读取折扣差异显著(最高50倍),实际成本取决于复用频率、前缀稳定性及跨模型比价。开发者需通过TTL测量、前缀管理、混合缓存策略和明细账单监控优化支出。

夜里两点跑对账脚本的小团队,大概都见过这种账单:同一份系统提示词和工具定义,白天用过十几次,凌晨那次却是“冷”的——中间隔了三小时,缓存早过期,整套前缀按未缓存价重新算一遍。

10月20日,OpenAI的API更新日志里多了一条:Responses API的提示缓存可以保留12小时,不再只有默认的30分钟。代价写在价钱那一栏——缓存写入价从未缓存输入价的1.25倍涨到2.5倍,读取价不变。

以GPT-6.1 Sol为例,输入2美元/百万token:30分钟档写入2.5美元,12小时档写入5美元,命中读取一律0.1美元。

缓存这个词,过去两年在发布会上的含义一直是“打折”。这一次,它第一次变成了一件要你多掏钱才能买到的东西。

贵不贵,取决于你还问不问它

顺着公开的价目自己算一遍就清楚了。

两次请求相隔三小时:30分钟档得写两遍(2.5倍输入价),12小时档写一遍加一次读取(2.6倍)——基本打平。

三次请求:30分钟档3.75倍,12小时档2.7倍,长档开始赢。

一天八次、散落在白天:30分钟档10倍,12小时档3.2倍。

反过来,如果写进去之后没人再问起,那12小时就是纯亏一倍。

所以这条更新真正服务的不是聊天,是那些会休眠的活:夜里跑一次的批处理、每小时醒一次的收件箱分类、销售一天打开四五次的助手。它们以前每次醒来都是冷的。而几秒钟一轮的高频Agent循环完全没必要改——那个节奏里,30分钟的缓存从来没冷过。

官方自己留的那句话

值得原样抄下来的,是OpenAI文档里的免责说明:12小时规定的是“读取计费资格对应的最短生命周期”,既不保证每次请求真的复用已存储的KV张量,也不保证延迟更低。

翻译过来就是:账单上按命中价算,不代表物理上命中了。 缓存给的是金额上的承诺,不是性能上的承诺。

真正该比的是另一栏

把这周各家的报价单摊开,“缓存读取”这一栏的离散程度大到不像同一个词:

  • DeepSeek V4.1 Flash 1017:输入0.15美元/百万,缓存读取0.003美元——便宜约50倍

  • Gemini 4 Argon:2美元对0.10美元——20倍

  • MiniMax M3.1 Flash:0.15对0.015美元——10倍

  • GLM-5.3 Flash:输入0.032,缓存读取0.030——几乎不打折

标价接近的两个模型,长对话跑一整天的账单可能差出好几倍,差的正是这一栏。

机制不复杂:命中的本质是厂商替你把KV张量留在显存里,占的是能拿去做推理的那份容量。折扣深浅取决于它有多缺显存,以及想不想用这个折扣把你钓进来。

同一周另外两个数字

同一天,ChatGPT与Codex负责人Tibo说,Codex和Work的登录用户缓存永久保留。这句目前只有社交平台上的说法,没进文档,官方也没讲清实现——真要用,盯着自己的账单验证。

再往前一天,DeepSeek开源了自家推理框架,写明缓存保留的设计目标是3天。那是自建部署的目标值,不是API承诺,但和付费买来的12小时放在一起看很有意思。

四条能马上做的事

1. 先量再改TTL。 给每个工作流记“同一前缀多久被复用一次”,只有隔几小时醒一次的冷链任务配得上12小时;热循环保持默认。

2. 混着用。 文档给了一个值得抄的写法:稳定的指令和参考资料放在最前面,单独设12小时断点;容易变的会话内容放后面走30分钟。一次请求最多四次写入。

3. 管住前缀。 缓存按精确前缀匹配,GPT-5.6起最少1024 token才给缓存。开头塞个时间戳、工具列表顺序抖一下,写入费照付,读取一分不省。

4. 比价表加一列。 尤其是长上下文、多轮、带大段工具定义的场景:输入价差一成,命中价差可能就是五倍。

当缓存的“保质期”也能卖钱,账得按分钟算

省钱的位置,正在从“用哪个模型”挪到“你怎么组织上下文”。不同厂商的缓存寿命、写入价、命中折扣都不一样,混着用的时候,账单会变得很难对。

EasyAPI这类聚合入口把多模型接入和费用明细收在同一层:一个Key接入所有主流模型,按任务分配路由,缓存命中的效果在账单上直接体现。缓存写入贵不贵、这12小时买得值不值,用量明细里能看出来。

数据来源:

  • OpenAI API 更新日志与提示缓存文档(10月20日条目)

  • 各家缓存读取价为 OpenRouter 目录10月21日快照,均为所列 provider 的最低报价

  • “Codex/Work永久缓存”为负责人社交平台表述,未见于官方文档

  • DeepSeek 推理框架3天为开源设计目标值

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值