缓存读取省下重复计算成本,而非上下文容量
缓存读取的低价来自重复前缀计算的复用
同一份长文档,第一次交给模型处理,输入费用可能较高;随后围绕它继续提问,部分输入却可能按较低的缓存读取价格计费。区别不在于文字突然变少,而在于服务商能否复用已经完成的一部分计算。
可以把它想成阅读资料:第一次需要从头整理背景,接着讨论时,已有笔记能减少重复劳动。不过,模型缓存并非人的记忆,而是服务商在一定条件下保存、复用的计算状态。
模型处理输入时,会把文字转换成词元,再逐步计算内部表示。对于支持提示词缓存的服务,相同的输入前缀可以复用部分中间结果,常见的是注意力计算中的键值状态。缓存读取便宜,主要因为它减少了重复计算,而不是因为输入不再占用上下文。
缓存命中通常依赖输入开头保持一致
缓存通常识别的是输入开头连续一致的部分,并非整段文字意思相近就能命中。假设每次请求都先提供相同的任务规则和参考资料,最后才附上新问题,那么前面的固定部分就更有机会被复用。
相反,在开头加入不断变化的时间、编号,或者调整资料顺序,都可能缩短可复用的前缀。把稳定内容放前面、变化内容放后面,是比反复压缩个别词语更值得优先考虑的安排。
但输入相同也不代表一定享受缓存价。有效期、最低长度、模型支持范围,以及服务商的缓存策略都会影响结果。有些服务自动处理缓存,有些需要明确设置,具体条件应以对应服务商的规则为准。
缓存读取不会免除新问题和回答的费用
提示词缓存不是把上次答案直接复制回来。模型仍需结合当前问题生成新的回答,新增输入和输出通常仍按各自标准计费。缓存内容也仍属于本次上下文,不能借此突破模型的上下文限制。
还要区分缓存写入与读取。首次保存可复用状态可能产生写入费用,部分方案还涉及保存时长。只有后续命中带来的节省足以覆盖相关成本,缓存才真正划算;一次性任务未必适合为缓存专门调整流程。
实际账单应当分别核对缓存写入与读取
判断节省幅度,不能只看请求里有多少重复文字,而应查看服务商报告的普通输入、缓存写入、缓存读取和输出用量。再分别乘以对应单价,才是这次请求的实际成本。不同服务商的字段可能存在包含关系,核算时也要避免重复相加。
本文由注重质量的接口中转服务 BestRelay 发布。它按请求指定的官方模型转发,不替换模型,覆盖 Claude、GPT、Gemini、DeepSeek、Kimi、GLM、Qwen、Grok 等系列,并兼容 Claude Code、Codex、Gemini CLI 和任何 OpenAI SDK。工具能够接入,并不意味着每个模型的缓存规则完全相同。
BestRelay 依据提供商报告的词元用量按量计费,缓存读取与写入分别定价。初次使用时,可以对比几次包含相同资料的请求,检查实际命中量和总费用,而不是仅凭折扣比例估算收益。
欢迎创建 BestRelay 账户。会员邀请他人充值可获得推荐佣金,但这项机制与模型缓存是否命中无关。对开发者而言,真正可持续的节省来自稳定的输入结构、适合重复使用的任务,以及能够逐项核对的账单。
想亲自试试文中提到的模型? 注册