英伟达优化DGX Spark上MoE推理

发生了什么

据英伟达技术博客，通过堆叠Humming MoE内核、FP8输出层及内置MTP投机解码三种优化方法，Ant Group inclusionAI的Ling-3.0-flash模型在DGX Spark桌面系统上的推理吞吐量提升了42.5%。测试显示，在GSM8K数据集上，解码吞吐量从37.81 tokens/s提升至53.89 tokens/s，平均延迟降低24.5%，且模型精度保持不变。该模型为124B参数的MoE架构，具备5.1B激活参数。