Prompt缓存2026：重复请求成本最高降90%（Anthropic+OpenAI）
每个客服请求都把同一份2000 token的系统提示词发给API。你每次都按原价付相同的钱。
💡 你将学到
每个客服请求都把同一份2000 token的系统提示词发给API。你每次都按原价付相同的钱。
Title: Prompt Caching 2026: 将LLM重复请求成本降低高达90%（Anthropic + OpenAI）
Prompt Caching：不必为相同Token重复付费
Prompt Caching 是一项提供商功能，它会存储最近使用过的输入 Token，并在重复使用时大幅降低收费。Anthropic 于 2024 年推出该功能，OpenAI 随后提供了自动缓存，到 2026 年，它已成为任何 LLM 应用中最简单易行的成本优化手段——在许多场景下，稳定前缀的输入成本可降低高达 90%。
工作原理
当你的请求包含一个近期已被处理过的前缀（例如系统提示、少样本示例、工具定义、文档上下文）时，提供商会复用缓存的算力结果。Anthropic 的模式：缓存输入 Token 的费用比全新输入 Token 低约 90%，而缓存写入成本仅为全新读取的很小一部分。OpenAI 则对重复的输入前缀自动应用缓存，缓存输入 Token 享受约 50% 的折扣。两者都是“自动”的，意味着你无需修改提示——但你需要保持缓存前缀的稳定。
让缓存生效的规则
- 将系统提示和指令放在最前面——可缓存的前缀必须出现在任何变化内容之前。如果用户特定上下文变化，请将其放在静态前缀之后。
- 不要重新排序——即使前缀中有一个 Token 发生改变，也会使整个前缀的缓存失效。
- 注意 TTL（生存时间）——Anthropic 的缓存默认持续 5 分钟，最长可达 1 小时；OpenAI 的缓存窗口更短。突发性应用可能无法受益，而稳定流量则效果显著。
- 跨请求共享静态上下文——一个支持机器人，处理 10,000 个请求且使用相同的 2,000 Token 指令，就是最理想的场景。
实际节省
一个聊天应用，拥有 3,000 Token 的静态系统提示，每天处理 10,000 次请求：在没有缓存的情况下，该前缀每天产生的输入 Token 成本约为 3-9 美元（取决于模型）。使用缓存享受 90% 折扣后，成本降至 1 美元以下。一个月下来，可节省 60-250 美元——而你需要做的仅仅是零代码添加，并保持提示稳定。
常见问题
Prompt Caching 是自动的吗？ OpenAI 自动缓存；Anthropic 需要通过 cache_control 参数主动选择，但折扣力度更大。
缓存会影响输出质量吗？ 不会——缓存存储的是算力结果，而非预设答案。
哪些提供商支持？ OpenAI、Anthropic、Google Gemini 等，各自定价与 TTL 略有不同。
我可以缓存整个上下文窗口吗？ 只有前缀是可缓存的；缓存失效对于前缀来说是“全有或全无”的。
相关文章
❓ 常见问题
Is prompt caching automatic?
OpenAI caches automatically; Anthropic requires opting in with a cache_control parameter but the discount is larger.
Does caching affect output quality?
No - the cache stores computation, not a canned answer.
Which providers support it?
OpenAI, Anthropic, Google Gemini, and others, each with slightly different pricing and TTLs.
Can I cache my whole context window?
Only the prefix is cacheable; cache invalidation is all-or-nothing for the prefix.
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
