Prime Intellect发布Prime Mega MoE内核

发生了什么

Prime Intellect发布了Prime Mega MoE内核，该内核基于DeepSeek的Mega MoE扩展，增加了重叠反向传播功能，使融合内核可用于模型训练。据Prime Intellect自报数据，在Qwen3 MoE模型上，其全训练步骤较prime-rl基准提速32%至34%，较TorchTitan提速48%至55%。该内核支持NVIDIA Hopper（blockwise FP8）和Blackwell（MXFP8）架构，并兼容BF16。性能表现方面，前向传播最高提速3.11倍，反向传播提速幅度在1.24倍至1.87倍之间。该功能已集成至prime-rl训练框架中，作为dispatch后端使用。