论文提出Proximal KL实现离线RLVR采样

发生了什么

据arXiv cs.LG论文，研究提出Proximal KL方法，通过近端KL正则化实现离线策略强化学习验证（RLVR）的Token级重要性采样。该方法分离近端参考与采样策略，用有界未来KL信用替代PPO裁剪。在Qwen3-1.7B和Qwen3-4B上的测试显示，其数学基准准确率较GRPO最高提升2.58%。