arXiv论文提出GRAD解决VLM强化学习瓶颈

发生了什么

据arXiv cs.CV论文《Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs》指出，视觉语言模型（VLM）的强化学习收益受限于感知或推理瓶颈。研究引入PARA指标分析发现，当前RL更有效地利用推理余量而非感知余量。为此，作者提出GRAD（组相对注意力蒸馏），利用每组最佳rollout直接指导较弱rollout的视觉注意力。实验显示，GRAD在两种模型规模和七个基准测试中持续提升性能，并补充了现有RL方法。