RLVR rollout信号漏失与补法分析

发生了什么

据稀土掘金报道，RLVR训练中rollout阶段占78%–87%时间。因奖励全同导致组归一化优势为0，或重要性比偏离引发错误权重更新，造成学习失效。SRD论文通过动态采样解决信号生成问题，ReSPO等算法通过核函数调整信号加权，以应对off-policy数据漂移。