Centered Permutation Prefixes for SGD with Random Reshuffling: Sharp Rates, H\"older Geometry, and Composite Proximal Extensions
本文研究了有限和 $F(x)=\frac1n\sum_{i=1}^n f_i(x)$ 的随机梯度下降(SGD)与随机重排技术。在新鲜重排配合常数步长条件下,若各分量函数具有 $L$-Lipschitz 梯度且平均函数 $\mu$-强凸并满足 Hessian Lipschitz 连续,证明了最后周期的收敛率为 $\mathbb E[F(y_K)-F(x_\star)] =\widetilde O\!\left(T^{-2}+n^2T^{-3}\right)$(其中 $T=nK$),该结果匹配已知二次下界。分量函数可非凸,无需逐分量 Hessian 连续性或独立有界迭代假设。更一般地,$\nu$-H\"older-连续平均 Hessian 仅增加 $\widetilde O(n^{1+\nu}T^{-2-2\nu…