EncBank研究：LLM编码器缓存降低存储成本

发生了什么

据arXiv cs.CL论文《Cache the Encoder Within:Compact, Reusable Memory across LLM Queries》，EncBank将预训练LLM的低层作为可复用文档编码器，紧凑存储输出以供上层读取器使用。在Qwen骨干网络上，4位存储使基准测试聚合分数保持在接近原生精度水平，并在固定Qwen3-8B负载下保留28.1%的原生持久GPU存储。该方法结合可复用计算与紧凑内存，任务保真度取决于工作负载和重用频率。