arXiv发布HP-RLVR单轨迹强化学习方法

发生了什么

据arXiv cs.LG论文《Hindsight-Privileged RLVR: Single-Rollout Token Credit Without Group Sampling》介绍，研究提出HP-RLVR方法，无需组采样即可为单轨迹中的令牌分配奖励。该方法利用因果历史与包含未来结果的 hindsight context 之间的Jensen-Shannon散度来加权奖励。在Qwen3-8B模型测试中，相比GRPO，HP-RLVR在数学、代码生成和ALFWorld任务上分别快1.21倍、1.46倍和2.30倍，且使用量仅为前者的八分之一。