Paper page - Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation · 智迹闻 AuraTracer

摘要由 AI 生成

2026 年 9 月 8 日，Hugging Face Papers 发表题为《Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation》的研究论文。该研究提出了一种名为“提示级教师门控”的新方法，旨在优化基于策略的模型蒸馏过程。该方法的核心在于在蒸馏前对提示进行验证，通过引入教师模型的门控机制来筛选高质量样本，从而提升蒸馏效率和最终模型性能。

报道态势 · 每日报道量LANGUAGE SPLIT

实体关系

信号强度SIGNALS

关键词热度

Zhiwei Zhang1
Zechen Sun1
Fei Zhao1
Kang Peng1
Bin Liang1

全部报道（1）SOURCES

↗

H Hugging Face Papers en 2026-09-08 08:00

Paper page - Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation

Zhiwei Zhang 等提出 Prompt-Level Teacher Gating (TGOPD)，在 On-Policy Distillation 中于提示级别验证教师可靠性。该方法基于小样本 verifier-scored teacher probes 估计可靠性，通过可靠检查将提示路由至密集监督或 verifier-grounded GRPO。在数学、代码和指令遵循领域的 4B 及 35B 学生模型上，TGOPD 在所有六个单领域设置中均优于 Vanilla OPD，并在多领域训练下提升七项基准平均表现。此外，TGOPD 利用闲置教师容量进行可靠性估计，将异步 OPD 中的教师节点 GPU 利用率从 9.8% 提升至 78.9%。

存档