CAST算法提升LLM预训练效率

发生了什么

据arXiv cs.LG报道，研究人员提出CAST（Clipping with Adaptive Scales and Thresholds），作为Soft spectral clipping (SSC)的历史自适应扩展。CAST利用AdamW的二阶矩设置行列比例，并通过截断输出的估计谱范数的指数移动平均设置阈值。在对拥有19.08B总参数的混合专家（MoE）模型进行83.89B token的训练中，CAST实现了比九个梯度处理基线更低的训练损失和平均验证损失，且相对梯度尖峰最少。它达到最佳基线的最终平滑训练损失所需的步骤减少了7.2%。