arXiv发布SGUID模型技能蒸馏筛选方法

发生了什么

据arXiv论文，SGUID方法通过筛选高价值技能实现大语言模型高效蒸馏。研究显示在on-policy蒸馏中，少于25%的技能提供有用信号。在Qwen和Olmo系列模型上，蒸馏6个精选技能的效果匹配或超过全库蒸馏。该方法支持稳定的模型-技能协同进化，第二轮蒸馏3个新技能后，Qwen3-8B性能从64.3%提升至66.3%，而未经过滤的更新会导致性能下降。