研究：组合持续学习机制提升长程记忆

发生了什么

据Hugging Face Papers报道，一项新研究提出通过组合数据、函数和权重锚点与合并低秩更新（LoRA），显著改善语言模型的长程记忆能力。在100个任务的持续监督微调设置中，该方法将平均最终保留率从朴素顺序微调的1.2%提升至34.9%，实现28倍改进。其中数据锚点和合并LoRA贡献最大且呈超加性交互。