联想肖利民谈存算融合池化系统

发生了什么

钛媒体报道，联想首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统，以解决KV Cache显存和CPU内存不足及GPU访问外部存储开销大的痛点。联想团队测试称，该系统在内存池卸载方面首Token延迟较NVMe池化方案降低3.5倍；KV跨实例共享首Token延迟较完全重算最高加速12至28倍；注意力下沉到内存池后解码延迟降低2.5倍。端到端测试显示，与RDMA分布式内存池相比，推理延迟加速2至3倍，系统吞吐提升6至20倍。