EPIC改进大模型自回归策略强化学习

发生了什么

arXiv cs.LG发布研究提出EPIC方法，通过精确KL前缀重要性比率裁剪改进大模型自回归策略强化学习。该方法将自回归生成重新表述为有限步马尔可夫决策过程，并推导出在行为策略采样下的性能差异恒等式。EPIC构建了基于精确反向KL坐标的前缀级信任区域，直接调控前缀级策略漂移，无需依赖局部二次近似或专家路由重放。实验表明，在稀疏专家混合语言模型的离线强化学习任务中，EPIC在数学推理基准测试中持续优于标准和序列级裁剪基线，并与基于路由重放的替代方案保持竞争力。代码已开源至GitHub。