论文探讨策略梯度中基线与分数中心化作用

发生了什么

据arXiv cs.LG论文，强化学习后训练常因策略不匹配使用截断重要性采样，导致奖励平移不变性丧失。研究提出利用奖励与重要性加权分数的协方差作为估计量以恢复不变性。分析显示，组均值基线使用样本均值进行中心化，而分数中心化使用总体均值，两者产生不同方差的无偏估计器。序列级采样时二者同时使用无益，令牌级采样时仅用基线未用分数中心化会引入偏差。