研究提出利用专家选择偏差克服MoE数据不平衡

发生了什么

据arXiv cs.LG论文《Overcoming Data Imbalances with Expert Selection Biases》，Mixture-of-Experts (MoE) 模型在数据不平衡时，少数类别容量受限。研究提出基于输入类别的条件专家选择偏差，将令牌路由至专用专家池。该方法在最高10.6B参数模型中提升了多模态、低资源语言及代码性能，相当于增加了18.5%和2.7%的基线训练令牌。