arXiv发布自适应学习率重缩放模型研究

发生了什么

据arXiv cs.LG 2026-10-05发布的论文，研究揭示了现代优化器中解耦更新幅度与原始梯度范数的机制。通过随机特征模型和幂律协方差分析，发现固定范数更新导致有效学习率随梯度缩小而增长。归一化初期加速SGD，但在有限步长下最终破坏加速并导致边际稳定性。线性化ResNet实验支持了预测的加速、崩溃和资源扩展趋势。