智迹闻AuraTracer
EN

EVENT DOSSIER

采用随机重排的SGD中心置换前缀:高准确率、Holder几何结构以及复合近端扩展

2026-09-07 12:00 科学 🔥 40.2 事件热度
1家信源
1天持续发酵
40.2事件热度
0个提及
摘要由 AI 生成

2026 年 9 月 7 日,arXiv cs.LG 发布研究论文《Centered Permutation Prefixes for SGD with Random Reshuffling: Sharp Rates, H"older Geometry, and Composite Proximal Extensions》。该研究探讨了在随机重排(Random Reshuffling)背景下引入中心化排列前缀对随机梯度下降(SGD)算法的影响。论文分析了该方法在不同几何结构下的表现,特别是针对霍尔德(Hölder)连续函数类,推导了精确的收敛速率理论界限。此外,研究还扩展了复合近端延伸(Composite Proximal Extensions)的应用场景,为处理非光滑优化问题提供了新的理论框架与算法设计思路。

相关事件RELATED EVENTS

全部报道(1)SOURCES

A arXiv cs.LG en 2026-09-07 12:00

Centered Permutation Prefixes for SGD with Random Reshuffling: Sharp Rates, H\"older Geometry, and Composite Proximal Extensions

本文研究了有限和 $F(x)=\frac1n\sum_{i=1}^n f_i(x)$ 的随机梯度下降(SGD)与随机重排技术。在新鲜重排配合常数步长条件下,若各分量函数具有 $L$-Lipschitz 梯度且平均函数 $\mu$-强凸并满足 Hessian Lipschitz 连续,证明了最后周期的收敛率为 $\mathbb E[F(y_K)-F(x_\star)] =\widetilde O\!\left(T^{-2}+n^2T^{-3}\right)$(其中 $T=nK$),该结果匹配已知二次下界。分量函数可非凸,无需逐分量 Hessian 连续性或独立有界迭代假设。更一般地,$\nu$-H\"older-连续平均 Hessian 仅增加 $\widetilde O(n^{1+\nu}T^{-2-2\nu…