2026年大模型MoE路由策略解析

发生了什么

据MarkTechPost报道，2026年主流开源MoE模型广泛采用7种路由策略以平衡质量、负载与推理成本。其中，Sigmoid门控结合无辅助损失的偏置平衡技术已成为前沿模型的主流选择。各模型在专家选择上存在差异，如Mixtral采用Softmax Top-K，DeepSeek-V3/V4及Kimi K2等模型则结合了共享专家与Sigmoid偏置路由。此外，动态路由与哈希路由等技术也被应用于特定模型或推理系统中。