研究揭示强化学习中较大batch学习效率降低机制

发生了什么

据arXiv cs.LG论文《Two Clocks》报道，研究人员提出“两时钟”框架分析可验证奖励强化学习（RLVR）。研究发现，在局部二次模型下，平方根规则虽保留一阶漂移但不保留进展：较大的rollout batch导致更新次数减少且受曲率影响更大，超出临界batch后样本效率下降。实验支持该预测，并提出先低于临界batch启动、失败前切换至大batch的多步训练调度方案。