研究称后训练单字即可实现能力迁移

发生了什么

据Hugging Face Papers报道，研究发现语言模型可通过无关文本转移能力。引入Active Taskless Distillation (ATD)方法，仅需教师模型输出的单个无关词，无需直接任务示例或模型访问，即可让学生模型习得任务能力。在Qwen2.5-1.5B实验中，该方法在HumanEval+上获得5.34 pp的提升。