京东南大提出RoadMOPD多教师蒸馏法

发生了什么

据Hugging Face Papers报道，京东与南京大学研究人员提出RoadMOPD，解决多教师策略蒸馏（MOPD）中的梯度冲突问题。该方法引入非路由教师作为辅助跨域批评者，通过token级信用分配协调监督：利用教师一致性强化联合支持的修正并衰减冲突信号；采用预防性多教师梯度投影约束潜在冲突更新，自适应控制投影强度以保留目标域学习信号。