Cal-OPD校准师生差异提升推理模型蒸馏效果

发生了什么

Hugging Face Papers提出Cal-OPD校准师生差异，通过估计教师自偏差并去除其影响，提升推理模型蒸馏效果。Cal-OPD利用特权干预估计教师自偏差区域，校准原始师生差异，保留超出该区域的部分作为优化信号。实验表明，Cal-OPD在数学推理基准上优于标准OPD及其变种，即使只保留约52-65%的原始师生差异。研究显示，部分教师信号可能反映教师自偏差而非有用监督。