Paper page - One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
Justin Robert 与 Raheel Qader 发表综述《One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation》，指出 On-Policy Self-Distillation（OPSD）虽消除了对更大教师模型的需求，但存在“崩溃”这一主导性故障模式。该研究将数学推理领域的崩溃视为单一症状，由三个杠杆控制：信号应用位置（token 加权）、教师展示内容（特权信息性质）及信号变化时机（教师动态与引导衰减）。综述未进行新实验，旨在建立现象共享词汇并区分已解决与争议问题。