Muon优化器研究

发生了什么

arXiv cs.LG研究显示，Muon优化器在同等数据下降低验证损失，但训练耗时显著高于AdamW。在单A100 GPU上，Muon对17.7M和33.6M参数语言模型及2.70M参数视觉Transformer进行测试，验证损失曲线下面积降低3.25--22.44%，测试损失在所有20对中均降低。Muon在视觉模型上时间标准化损失面积提升19.68--22.31%，但语言模型上AdamW更优。Muon优化器调用耗时占训练时间的56.1--69.6%，AdamW为6.1--9.1%。Muon在受限访问候选池时预期遗憾更高，但结果仅适用于小模型参考内核，不适用于大模型或优化实现。