研究重思在线策略蒸馏机制

发生了什么

据Hugging Face Papers报道，论文《Rethinking Relative Policy Differences Transfer of On-Policy Distillation》研究了如何通过代理专家与代理参考之间的对数概率差来引导目标模型。研究发现，由强化学习或监督微调产生的差异比仅由模型规模产生的差异更可靠地转移。专家提供能力，参考隔离需转移的部分。即使是有用的差异也不能转移到所有目标，成功需要诱导的更新使目标向专家移动并泛化。适当的参考可以挽救原本失败的转移。