论文提出KLPO无价值网络强化学习方法

发生了什么

据Hugging Face Papers，论文提出KL-Regularized Policy Optimization (KLPO)，一种无需价值网络的无偏强化学习策略优化方法。该方法使用单次 rollout 进行更新，无需重要性权重或响应组。通过锚定采样器的KL正则化器，利用最小二乘法拟合对数比率最优性条件，实现了critic-free更新，适用于大语言模型智能体。