Hugging Face发布OPSD综述

发生了什么

据Hugging Face Papers报道，论文《One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation》被收录。该综述由Justin Robert和Raheel Qader撰写，聚焦数学推理领域的在线策略自蒸馏（OPSD）。文章指出OPSD利用特权信息使模型自我教学，但存在推理路径崩溃的失败模式。综述将崩溃视为受三大杠杆机制控制的单一症状：信号应用位置、教师所见信息及信号变化时机。作者声明未进行新实验，旨在建立共享词汇并区分既定与争议问题。