PR-OPD方法提升语言模型代理表现

发生了什么

据Hugging Face Papers报道，论文《PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning》提出了一种新的自蒸馏方法。该方法针对语言模型代理在强化学习中的训练，通过特权表示在线策略自蒸馏，让同一策略在给定技能下教其无技能自我。实验发现“不可见优势”和“过度对齐”现象，PR-OPD通过重写技能并重读响应来对齐隐藏状态，无需外部技能库或推理开销，显著提升了ALFWorld等基准测试表现。