Prompt与KV前缀缓存

复用已处理前缀的推理计算，主要影响prefill与输入费用。

前缀缓存复用已经处理过的输入计算，通常降低prefill延迟和输入费用；它不保存可以直接复用的最终答案，也不是跨会话永久memory。自托管推理中的KV复用与厂商API的prompt cache有关联，但生命周期、隔离和计费合同需分别核实。

稳定指令、工具定义和共享材料放在变化较少的位置，动态资料与新交互追加在后，通常有利于前缀匹配。Claude Code官方文档解释其精确前缀行为：前面改动会影响后续复用，换模型、工具或压缩历史也可能重建缓存。不能为了cache hit不断保留无关历史，输入质量与完成条件优先。

OpenAI截至2026-10-15的文档已经区分GPT-5.6及之后模型与更早代际。新一代支持显式breakpoint，缓存写入计费与routing合同也有变化。应用不应沿用“写缓存总是免费”或“cache key必然控制机器路由”的旧假设；按实际模型文档和usage分类核算。

缓存作用于满足条件的前缀，存在最小长度、边界、TTL和服务器容量限制。两个请求看似共享许多文字，并不一定在可查找边界上命中；某次命中也不保证下一次命中。多模型路由、冷启动和会话长时间闲置都要分开测。不要把高命中率直接写成端到端延迟等比例下降，decode与工具时间可能占主导。

企业还要关注租户和用户的cache accounting、敏感前缀探测与保留策略。厂商组织隔离不自动等于应用用户隔离，实际配置要按文档验证。模型换代或compaction后，将重建成本计入预算和SLO。

实验同时报告请求命中、cached read token、write token、普通输入和实际费用，用账单对照。分别测试相同任务连续执行、工具定义变更、模型切换和冷缓存，并用相同业务验收判断优化是否有价值。

实践重点：稳定规则和工具前置；按模型核缓存breakpoint、读写费与隔离。

验证抓手：测冷/热token、写入、跨模型、compaction与工具变更。

常见误区：把缓存视为永久memory，或为了命中保留无关context。

OpenAI：Prompt caching；Claude Code：Prompt caching。