arXiv论文提出SST缓解大模型遗忘

发生了什么

据arXiv cs.LG论文《Towards Continual Learning: Mitigating Forgetting With Subspace Tuning》介绍，研究提出子空间微调（SST）方法以缓解大语言模型持续学习中的灾难性遗忘。SST将权重更新限制在底部奇异子空间，避免沿主方向更新。该方法保护大部分权重子空间，显著改善保留率，并使KL漂移减少2至4倍。