论文提出RIDE改进在线策略蒸馏

发生了什么

据Hugging Face Papers报道，一篇论文提出RIDE（RL-Induced Direction Extrapolation）方法，通过在隐藏状态中直接外推强化学习诱导的表示残差，改进在线策略蒸馏。该方法在各层计算教师模型与预RL检查点的残差，并将学生隐藏状态回归至沿此残差位移的目标。实验显示，RIDE在四种基础/RL教师对中表现稳定，是均值唯一超越教师的唯一方法。