MoE模型专家路由机制对比分析

发生了什么

据MarkTechPost于2026年11月8日发布的分析报告，当前主流MoE模型在专家路由机制上存在显著差异。专家数量范围从Mixtral的8个扩展至DeepSeek-V4-Pro与Kimi K2的384个，Top-k选择范围从Llama 4的1个至DeepSeek-V3等模型的8个不等。在共享专家配置上，10款模型中有7款保留了1个共享专家，而Mixtral、gpt-oss及Qwen3则未采用。此外，DeepSeek系列模型普遍采用Sigmoid或sqrtsoftplus激活函数配合无辅助损失（noaux_tc）的负载均衡策略，而Llama 4与gpt-oss未公开其门控或负载均衡的具体方法。