通过自动分割和块蒸馏实现块注意力机制的泛化

针对长场景下 KV 缓存复用困难及现有微调效率低的问题，研究人员提出通过自动分割与块蒸馏实现块注意力泛化的新方案。团队构建了包含超 30,000 个实例的 SemanticSeg 数据集，训练轻量级分割器将输入文本划分为符合人类直觉且粒度可控的块。同时，提出基于冻结全注意力教师模型的块蒸馏框架，集成块汇合令牌、块 Dropout 及 Token 级损失加权三个组件，以减轻边界信息丢失并聚焦敏感 Token。实验表明，该分割器性能优于启发式与统计基线，而块蒸馏在保持块注意力的同时实现了接近全注意力的性能，为相关技术的部署提供了可扩展路径。