VASPO提升数学推理模型准确率

发生了什么

据arXiv cs.LG论文，研究者提出VASPO（Value-Augmented Self-Distillation Policy Optimization），通过特权价值估计自蒸馏提升数学推理模型准确率。该方法结合PPO与自教师指导，利用特权信息增强价值预测准确性。在六个数学推理基准测试中，VASPO在Qwen3-4B和OLMo3-7B变体上分别比PPO提高平均准确率2.59和1.81个百分点，并在Knights and Knaves基准上取得最高平均准确率。