论文揭示强化学习策略蒸馏长度膨胀机制

发生了什么

据Hugging Face Papers报道，研究指出在策略蒸馏（OPD）中，学生模型响应过长源于与教师模型的终止令牌不匹配。研究发现Qwen3、Llama和Gemma等模型虽声明相同的停止集，但实际将停止概率分布在不同EOS令牌上，导致学生偏好被抑制且无法可靠转移教师偏好。通过将对等功能等效的EOS令牌视为共享语义停止动作，可显著缓解长度膨胀。研究还揭示了训练阶段中终止偏好的演变及后期持续的长度膨胀现象，并发布了包含修正方案的实现代码。