清华等提出智能体缓存工程AKV服务引擎

发生了什么

清华等机构提出智能体缓存工程AKV服务引擎，通过主动控制KV缓存与丢弃策略降低推理成本并提升吞吐量。该引擎允许智能体直接控制其主动KV缓存，无需修改轨迹或重新填充保留的上下文。具体操作包括使用drop排除选定的缓存以供未来关注，以及使用repos调整保留键的位置编码。实验显示，与传统的阈值触发摘要相比，工具响应滚动丢弃缓存策略平均提高了1.7分，平均成本降低了27.7%。AKV实现了高达1.2倍的输出吞吐量和P95请求延迟的1.5倍提升。