LLM应用两层缓存方案

发生了什么

@shao__meng 介绍两层缓存：Prompt Caching复用共享前缀的KV计算，Semantic Caching复用语义相近问题的整条答案。前者减少输入成本，后者命中时可能完全跳过模型调用，二者可叠加。缓存写通常更贵、读更便宜；语义缓存的阈值、失效和适用范围需单独设计。