登录·注册
BestRelay

返回刊物

提示缓存省的是重复输入,不是整张账单

重复出现的提示前缀才是缓存能够省钱的地方

同一份项目说明,每次提问都要附上,账单也可能反复计算它的输入费用。提示缓存让模型服务复用此前处理过的提示前缀,减少重复处理的成本。它通常不是保存上次答案,也不意味着相同问题会直接返回旧回答。

把它想成预先备好的材料更容易理解:材料可以复用,新的任务仍然要做。最常移动的账单项目,是普通输入费用与缓存读取费用,不是整次请求的全部费用。

缓存读取与缓存写入需要分开核对实际费用

账单可能区分普通输入、缓存写入、缓存读取和输出。读取通常更便宜;写入是否单独收费、价格多少,以及缓存保留多久,取决于服务商和模型。输出仍按对应规则计费,不能把缓存折扣套到整张账单上。

假设固定说明有一万令牌,新问题有一千令牌。命中时,前面的一万令牌可能按缓存读取计费,新增的一千令牌仍算普通输入,回答另算输出。这里的令牌是模型处理文本的单位,并不等于汉字数。

稳定内容放在前面通常更容易获得缓存命中

适合放在前面的内容包括固定规则、工具说明和反复使用的文档;本次问题放在后面。许多缓存依赖一致的前缀,开头插入时间戳或调整内容顺序,都可能缩短可复用部分。

缓存也不是永久资产。最低长度、有效期和启用方式各不相同,有的自动处理,有的需要明确设置。短请求、低频请求或经常改动的前缀,未必值得专门优化;反复写入却很少读取,还可能增加成本。

实际节省需要结合服务商用量与完整账单判断

比较相近任务时,应一起查看普通输入、缓存读写、输出及总费用,不要只盯着命中率。缓存可能降低输入处理延迟,但不保证回答立即完成,也不会让模型自动记住未发送的资料。

中转服务的计费口径也应保留缓存费用的区别

本文由重视质量的 BestRelay 发布,其将请求转发至请求中指定的官方模型,不替换模型,覆盖多家主流模型服务,并支持 Claude Code、Codex、Gemini CLI 和 OpenAI SDK。

BestRelay 按服务商报告的令牌用量随用随付,缓存读取与写入分别计价。想核对自己的实际用量,可以创建一个 BestRelay 账户。会员邀请他人充值可获得推荐佣金,但佣金不应混入缓存节省的计算;判断缓存是否划算,仍要回到同类任务的实际费用。

想亲自试试文中提到的模型? 注册