研究提出优化层丢弃策略提升LLM效率

发生了什么

据Hugging Face Papers发布的研究，通过优化层丢弃（Layer dropout）策略，大语言模型可在保持准确率的同时，实现最高25%的训练FLOPs节省。该研究通过超过2400次实验验证，指出层丢弃支持早期退出、中间层跳过及自推测解码等优化，可带来最高1.5倍的推理加速。相关实验在Cerebras CS-3系统上完成，涵盖271M至8.2B参数规模的模型。