摘要由 AI 生成
2026 年 9 月 7 日，arXiv cs.AI 发布研究报告指出，在过度分散的混合专家（MoE）模型中实施专家剪枝以优化负载平衡时，可能引发新的性能问题。该研究警告称，当负载平衡策略过于激进时，会导致模型结构失衡，反而降低整体效率。
关键实体KEY ENTITIES
Gemma-4-26B-A4BMixtral-8x7B-InstructOLMoE-1B-7Bgpt-oss-20B
报道态势 · 每日报道量LANGUAGE SPLIT
实体关系
信号强度SIGNALS
关键词热度
- gpt-oss-20B1
- Mixtral-8x7B-Instruct1
- Gemma-4-26B-A4B1
- OLMoE-1B-7B1
全部报道（1）SOURCES
↗
针对过分散路由下混合专家（MoE）模型中标准重要性假设失效的问题，研究提出最小最大专家分数分配（MESA）方法。在 GPT-OSS-20B 等模型上，过分散路由导致困惑度无法预测下游任务准确率，且单一评分指标无法同时优化数学推理与科学领域表现。MESA 通过迭代提升受负面影响最严重领域的专家重要性分数，以最小化最坏情况下的领域退化。在 25% 专家剪枝下，MESA 在 11 个基准测试中优于激活感知基线 7 项，实现了最小的跨领域性能下降及更低的内存占用，并成功泛化至 GPT-OSS-120B、Gemma-4-26B-A4B 和 OLMoE-1B-7B 模型。