研究证实截断分布式SGD在重尾噪声下最优收敛

发生了什么

据arXiv cs.LG论文，研究证实截断分布式SGD（DSGD）在平滑非凸成本及有界p阶矩噪声（p∈(1,2]）下可实现高阶最优收敛速率，并具备智能体数量的线性加速优势。分析表明截断保留幅度信息，使DSGD在去中心化设置中收敛且优于归一化方法。