Paper page - One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
2026-09-08 08:00Models🔥 40.2 heat score
1sources
1days unfolding
40.2heat score
2mentions
SummaryAI generated
2026 年 9 月 8 日,Hugging Face Papers 发布题为《One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation》的论文页面。该研究对基于策略的自蒸馏(On-Policy Self-Distillation)方法进行了系统性批判性审查,旨在分析该方法在强化学习中的表现、潜在缺陷及改进方向。
Justin Robert 与 Raheel Qader 发表综述《One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation》,指出 On-Policy Self-Distillation(OPSD)虽消除了对更大教师模型的需求,但存在“崩溃”这一主导性故障模式。该研究将数学推理领域的崩溃视为单一症状,由三个杠杆控制:信号应用位置(token 加权)、教师展示内容(特权信息性质)及信号变化时机(教师动态与引导衰减)。综述未进行新实验,旨在建立现象共享词汇并区分已解决与争议问题。