英伟达全栈协同设计缓解AI内存瓶颈

发生了什么

据IT之家报道，英伟达发布技术解读，提出以全栈协同设计缓解AI内存瓶颈。该方案将GPU、CPU、网络、存储和软件整体协同，并通过NVFP4低精度格式压缩权重与KV缓存、在NVL72系统分散模型权重，以及在Vera CPU和存储侧缓冲上下文。英伟达援引SemiAnalysis AgentX基准称，在每用户每秒125 token条件下，Vera Rubin NVL72相较GB300 NVL72每美元智能体吞吐量最高提升30倍，每GPU HBM容量仅增约3%。