NVIDIA分析DGX Spark上MoE推理瓶颈

发生了什么

据NVIDIA开发者博客分析，在NVIDIA DGX Spark上对Inclusion AI的Ling-3.0-flash模型进行batch-size-1评估时，推理性能受限于内存。分析显示，模型权重读取驱动了执行时间，其中混合专家（MoE）计算与输出层投影是影响解码性能的两个关键操作。