NVIDIA Transformer Engine加速JAX MoE训练

发生了什么

据NVIDIA Developer Blog报道，通过JAX Python库与NVIDIA Transformer Engine的目标内核优化，DeepSeek-V3在NVIDIA GB300上的Dropless MoE训练性能从基线的103 TFLOPS/GPU提升至1,068 TFLOPS/GPU，实现10.4倍提升。该优化解决了MoE训练中动态路由导致的负载不均问题，通过块稀疏矩阵乘法等技术，使每个专家能处理不同数量的token，无需丢弃或填充数据，从而兼顾模型质量与计算效率。