Rubin架构引入KVCache扩展内存特性

发生了什么

据SemiAnalysis报道，Rubin架构提交了一项采用KVCache_AI Mooncake Store扩展GPU内存的新特性。该方案将KVCache存储在Vera的LPDDR5X内存中，并跨越18个Rubin计算托盘进行池化。通过使用NVLink替代原有的RDMA方法，该技术实现了超过10倍的带宽提升。