提出AOPD方法

发生了什么

据arXiv cs.LG报道，研究提出基于优势的在线策略蒸馏方法AOPD，利用反事实优势过滤教师指导并提升蒸馏效率。该方法区分教师偏好与实际帮助学生成功的因素，通过权重教师行为，强化提升学生预期结果的行动，下调无益行动。AOPD使用标准学生运行及其终端奖励估计优势，无需额外运行或奖励评估，保持标准OPD的运行效率。实验显示，在数学、编程和Medqa上，AOPD在教师和自我蒸馏设置中均优于蒸馏和RL基线。