arXiv论文：注意力头排序微调LLM

发生了什么

据arXiv cs.CL 2026-10-15报道，研究提出通过注意力头排序与分区实现语言模型稀疏及持续强化学习微调。稀疏学习中按梯度范数排序以识别有效训练的子集；持续学习中跨任务分区以减少干扰。实验显示，在数学、指令跟随和编码任务中，调优高排名头部优于低排名，且匹配密集基线；头部分区提升了旧能力保留率并适应新任务。