Pivot-SD：基于信息增益的掩码扩散语言模型高效自蒸馏方法
发生了什么
据Hugging Face Papers报道，研究团队提出Pivot-SD，一种用于掩码扩散语言模型（dLMs）的高效离线自蒸馏框架。该方法通过信息增益指标选择高影响力token承诺进行训练，成功轨迹使用交叉熵，失败轨迹使用针对性不似然。仅用200个问题及各四次rollout，Pivot-SD在数学和代码基准测试中提升了LLaDA-8B-Instruct的性能，优于全序列SFT和预算匹配的扩散RL基线。
- 训练数据量
- 200个问题
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口