arXiv提出平衡Adam优化器早期内存选择方法

发生了什么

据arXiv论文，研究者提出通过短周期训练确定共享参数β的方法。该方法在后续全训练中保持β固定，利用局部模型平衡采样变异与梯度平均延迟。评估显示，该方法将验证差距降低40.7%，优于网格搜索的最佳常数β。