论文提出EasyPPO稳定LLM强化学习

发生了什么

据Hugging Face Papers报道，一篇新论文提出EasyPPO算法，旨在通过修正Critic失败模式来稳定大语言模型的强化学习。研究指出Critic是PPO不稳定的主要来源，EasyPPO通过Actor-only overlong filtering、Noise-normalized critic regression和较小的Critic mini-batches来解决截断和噪声问题。在FrontierCS、AIME24和Search-R1基准测试中，EasyPPO表现稳定，相比Vanilla PPO分别获得14.89%、2.28%和9.47%的相对提升。