arXiv提出SQAM算法优化流策略RL微调

发生了什么

据arXiv论文，研究提出Q-Learning with Scalar Adjoint Matching (SQAM)算法。该算法利用预训练流策略的批平均速度雅可比矩阵集中在对角线的特性，推导闭合形式标量伴随，消除每步向量-雅可比积计算。结合最终动作的值惩罚，SQAM在OGBench最难领域成功率超越最强基线18至35个百分点，并在真实双臂机器人视觉-语言-动作策略微调中优于监督微调。