arXiv发布BehaviorTrace评估RL归因局限

发生了什么

据arXiv cs.LG论文，研究提出BehaviorTrace开源评估框架，用于评估在线强化学习（GRPO）中训练数据归因方法的局限性。研究发现，在Qwen2.5-1.5B模型测试中，许多表观归因信号源于混淆因素；仅按梯度大小排名的控制方法表现优于部分目标估计器。研究建议通过控制流畅度等变量来更准确评估归因。