“退一步，向前行：基于反思的视觉生成偏好优化”
提出 Reflection-Aware GRPO（RA-GRPO）框架，旨在解决扩散模型强化学习中局部最优问题。该方法通过引入 Diffusion Reflection 修正采样轨迹，并结合 Counterfactual Path Synthesis 将优化收益内化至策略中。在文本到图像及文本到视频任务上的实验表明，RA-GRPO 显著优于现有方法，有效缓解了奖励黑客并提升了泛化能力。该框架保持架构无关性，可无缝集成标准流程。
摘要由 AI 生成
为克服扩散模型强化学习中常见的局部最优困境，研究人员提出了名为 Reflection-Aware GRPO（RA-GRPO）的新框架。该方案引入 Diffusion Reflection 机制以修正采样轨迹，并利用 Counterfactual Path Synthesis 将优化收益内化至策略中。实验结果显示，在文本生成图像及视频任务上，RA-GRPO 显著优于现有方法，有效缓解了奖励黑客现象并提升了泛化能力。此外，该框架保持架构无关性，能够无缝集成到标准流程中。
相关事件RELATED EVENTS