论文提出MirrorMoE解决混合专家模型路由困境

发生了什么

据arXiv cs.LG报道，一篇新论文提出MirrorMoE方法，旨在解决现代混合专家（MoE）模型中细粒度专家分割与共享专家之间的路由探索困境。研究指出，共享专家会降低路由探索性，与细粒度分割增加的探索需求冲突。MirrorMoE通过令牌自适应抑制不必要的专家来缩小探索空间，从而在多种模型规模下持续提升性能。