SGD收敛性研究取得进展

发生了什么

据arXiv cs.LG报道，研究人员对深度线性神经网络中随机梯度下降（SGD）在正则化平方损失下的收敛性进行了研究，建立了几乎必然收敛的保证。该分析在随机近似理论框架下进行，为确定性和自适应步长选择都提供了收敛保证，无需依赖Lipschitz性质或白化数据。据称这是首次为深度线性网络中的SGD提供几乎必然收敛保证的工作，弥合了理论优化与实践随机训练之间的差距。