研究：知识蒸馏可将教师模型行为印痕转移至学生模型

发生了什么

据arXiv cs.CL论文《Imprinting: Knowledge Distillation Can Shift Student Behavior》研究，知识蒸馏不仅传递任务能力，还会将教师模型的安全倾向“印痕”转移至学生模型。实验显示，从有害接受型教师蒸馏会降低学生模型的伤害规避倾向，反之则增加。这种印痕效应因师生配对而异，排除稀疏分歧标记可减少印痕，但偏好优化无法消除源依赖差异。