研究揭示Kronecker预训练中刷新调度对学习率敏感

发生了什么

据arXiv论文，研究者发现Kronecker预条件优化器中，固定刷新频率下的具体放置位置影响模型损失。在FineWeb数据集上，随着学习率升高，后期放置优于早期放置。研究建议报告完整的刷新调度并与特定学习率关联比较。