arXiv论文提出ExpDis解耦强化学习探索与优化

发生了什么

据arXiv cs.LG论文，研究者提出Exploration-Distillation (ExpDis)框架，将强化学习中的探索与优化解耦。该框架训练带有新颖性奖励的探索者策略，过滤轨迹后蒸馏至学生策略，交替进行多轮训练。在七项数学推理基准测试中，ExpDis在相同墙钟预算下优于DAPO，并表现出更好的pass@$k$扩展性。