GLM-5.3远程KV缓存性能瓶颈及LMCache优化

发生了什么

据arXiv cs.LG论文，研究分析了GLM-5.3在8xB300节点上启用远程KV缓存（LMCache）导致的p99延迟从3.96秒升至17.3秒的问题。通过分片MLA KV存储、按秩分区远程层、添加异步加载及修复客户端bug，在命中率为98.5%的流中，p99降至0.67秒。预填充吞吐量提升14%，结合上游内核修复后提升34%。所有更改已提交至LMCache上游。