AWS详解SageMaker MoE内核优化

发生了什么

据AWS ML Blog报道，AWS详解Amazon SageMaker AI中Mixture-of-Experts (MoE) 的Swap-AB优化技术。该技术通过矩阵转置解决Hopper架构解码阶段M维度小于64导致的性能瓶颈，提升WGMMA利用率。