NVIDIA Ling-3.0-flash推理优化评估

发生了什么

据r/MachineLearning报道，NVIDIA对Ling-3.0-flash模型进行了推理优化，涉及MoE后端调整、FP8输出头及NEXTN推测解码的启用。在FP4检查点下，该模型在1,319个GSM8K测试问题上的分数由96.89%微降至96.82%。目前社区正探讨在推理配置变更时，判定模型质量是否保持中立所需的充分评估证据。