论文研究蒸馏动力学：On-Policy非总是最优

发生了什么

据Hugging Face Papers报道，一篇系统研究蒸馏动力学的论文指出，On-Policy并非总是优于Off-Policy。在控制实验中，Rollout策略的影响有限，Token级KL方向和学习率对任务表现和遗忘程度影响更大。Forward KL对Rollout策略具有鲁棒性，而Reverse KL更敏感且偏好学生生成的Rollout。研究挑战了On-Policy数据必然更优的观点，表明其价值取决于目标、评估设置和优化超参数。