跳到正文
智迹闻AuraTracer

arXiv发布跨分词器在线蒸馏研究

本机阅读

发生了什么

arXiv cs.CL发布研究论文,探讨跨分词器在线蒸馏(OPD)中对齐覆盖率与监督可靠性的关系。研究发现,在数学推理和代码生成任务中,严格的1:1对齐组已覆盖大部分学生生成的token;相比扩大覆盖范围,在严格位置采用紧凑监督更有效,可避免引入弱对齐或冲突的训练信号。

报道与来源

2 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.CL一手材料

    Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

  2. Hugging Face Papers转载

    Paper page - Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口
  2. 来源报道1 个发布入口