提出SMRC与PMRC算法实现大模型内存高效优化

发生了什么

据arXiv论文《Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon》介绍，研究者提出SMRC和PMRC算法，通过残差校正框架解决大语言模型训练中梯度噪声主导子空间的问题。SMRC集成于动量SGD，PMRC集成于Muon，两者均达到O(T^-1/4)收敛率，与全空间对应算法持平。实验证实了算法的有效性和效率。