跳到正文
智迹闻AuraTracer

提出Delta-MOPD多教师蒸馏法

本机阅读

发生了什么

据arXiv论文,研究者提出Delta-MOPD方法,在多教师策略蒸馏中通过转移教师相对于基线的Logit偏移来提升性能。实验表明,该方法在组合教师场景下比端点监督高出4.11分(数学)和1.95分(五基准),有效解决了基础偏好继承问题。

数学得分提升
4.11
五基准提升
1.95

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.LG一手材料

    Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口