合成自蒸馏实现小模型持续后训练

发生了什么

据Hugging Face Papers报道，论文《Continually Post-training Small Models via Synthetic Self-distillation》提出合成自蒸馏（SynthSelf）方法。针对小模型在持续学习中面临的知识获取与保留挑战，该方法利用稍大同族对齐器提供高质量分布内监督，结合离策略监督和拒绝采样，避免破坏原始分布。评估显示，SynthSelf在4个获取数据集和14个保留基准上，优于包括离/在线策略蒸馏在内的6种方法，适用于3种小模型规模。