通过贝叶斯视角统一ICL、SFT和KL正则化强化学习

2026 年 9 月 7 日，arXiv 发布一篇论文，提出一种基于贝叶斯视角的统一框架，旨在整合监督微调（SFT）、少样本上下文学习（ICL）及 KL 正则化强化学习（RL）。该研究将上述三种范式形式化为对贝叶斯后验预测的摊销与投影操作。具体方法分为两步：首先利用先验模型与效用信号构建广义贝叶斯后验；其次通过前向 KL 投影将其近似为参数化分布，分别对应权重内（SFT/RL）或上下文内（ICL）。论文进一步证明，KL 正则化的 RLHF/RLVR、奖励加权 SFT/ICL 及优势加权 SFT 均属于针对奖励或优势诱导后验的前向 KL 投影。此外，文章探讨了该框架对现代推理管道的启示，包括将 RLHF/RLVR 视为“后验设计加投影”过程，并强调了冷启动或监督预热对于重要性加权 KL 投影的必要性，同时提及了…