Waypoint-OPD：通过门控在线策略蒸馏转移RL诱导偏移

发生了什么

据arXiv cs.LG论文，研究者提出Waypoint-guided On-Policy Distillation (Waypoint-OPD)方法，利用强化学习教师模型的中间检查点比较早期和晚期策略偏移的方向一致性，并据此门控端点偏移的转移。在使用RL训练的Qwen3-4B作为教师，Qwen3-8B/14B/30B-A3B作为学生的数学和代码推理评估中，该方法在所有六种域-学生设置中取得了最高的域平均分数，证明方向一致性可有效加权学生训练中的端点偏移。