What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection
本文提出一种基于数据选择的上策蒸馏（OPD）方法，仅使用 8 个困难样本即可使 1.5B 至 7B 参数量学生模型达到 17K 数据集基线的性能。研究首先发现 1-shot OPD 在所有采样样本上均有效，且困难样本能带来更优的性能提升；其次分析表明，学生模型的改进并非由高 token 熵驱动，而是由困难问题自然生成的更长思维链（CoT）路径驱动。长 CoT 有助于在长期推理中保持与教师的对齐并学习反思等关键思维模式。基于此，该方法仅选择困难样本进行训练，甚至能利用完全超出教师能力的“无解”样本。实验验证了该数据选择策略的有效性。