清华等开源大模型智能体KV缓存系统AKV

发生了什么

清华大学与香港中文大学研究人员开源了基于SGLang的KV缓存工程服务系统AKV。该系统允许智能体自主丢弃或重定位KV缓存条目，无需重计算隐藏状态，旨在解决传统文本摘要带来的上下文丢失问题。据研究报告，在4项智能体基准测试中，AKV平均成本降低27.7%，平均任务得分提升1.7分。AKV采用Apache-2.0开源协议，提供兼容OpenAI的无状态API接口，支持通过自定义缓存策略进行丢弃与重定位操作。