在线策略自蒸馏缓解灾难性遗忘

发生了什么

据Towards Data Science分析，在线策略自蒸馏（OPSD）作为一种新方法，旨在缓解大模型后训练中的灾难性遗忘问题。该方法基于持续学习概念，通过让教师和学生学习相同模型并给予教师特权信息及不同参数更新方式来减少遗忘。文章探讨了OPSD的文献，特别是Shenfeld等人引入的自蒸馏微调（SDFT）框架。