论文：约束SFT参数更新方向可提升大模型泛化能力

发生了什么

据Hugging Face Papers报道，论文On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training提出On-Policy direction-constrained Supervised Fine-Tuning (OPSFT)。研究发现On-policy范式通过持续调整参数更新方向实现强泛化，而SFT沿固定方向更新。OPSFT通过将SFT更新约束在On-policy识别的方向上，结合了两者的优势：既保留了On-policy的强泛化能力，又利用了SFT的高训练效率和高质量轨迹利用能力。