华为英伟达布局AI推理KV Cache存储

发生了什么

据雷锋网报道，华为全联接大会推出OceanStor M900，英伟达推出CMX Context Memory Storage。此类产品将推理中产生的KV Cache分层管理以复用，减少重复计算并节省算力开销。行业共识认为“以存换算”旨在平衡计算与存储成本。由于DRAM昂贵且短缺，企业级SSD成为替代方案，但需考虑1:N的容量替换比及数十倍价差。目前独立KV存储设备已出现，但面向AI推理优化的专用SSD规格尚未统一，市场仍处于定制化阶段，预计形成统一标准需6至12个月。