arXiv论文：MoE路由Oracle不等式分析

发生了什么

据arXiv cs.LG 10月10日论文《Sparsity Saves Compute, Not Samples》，研究最小二乘MoE估计器的估计误差。推导了密集MoE的快速率Oracle不等式，并分析了稀疏Top-k/p路由的边界。研究表明稀疏性节省计算而非样本，且Lipschitz连续性不足以消除路由复杂度条件。