VFold提出LLM值缓存压缩策略

发生了什么

据arXiv cs.LG论文，研究者提出VFold对称性感知跨层合并压缩策略，旨在减少大语言模型解码时的KV缓存内存占用。该方法利用层间缓存相似性进行压缩，避免了对LLM架构的改变及显著开销。研究指出，该策略可与高比率量化或键缓存剪枝等技术组合使用，达到单一方法无法实现的压缩比，为在内存限制下扩展上下文窗口提供了有效方向。