GoiBERT越南语模型发布

发生了什么

arXiv cs.CL发布研究，推出GoiBERT紧凑型越南语语言模型。该模型采用两阶段知识蒸馏技术，包含26M和49M参数版本，可直接处理原始文本。GoiBERT通过两个互补的教师模型学习：一个使用相同分词器的越南语编码器提供通用表示，一个更大的教师通过软标签提供任务级指导，无需标记自己的训练数据。在八个基准测试中，GoiBERT-large在非教师模型中平均得分最高，参数量不到最强紧凑基线的二分之一，吞吐量是其两倍。GoiBERT-base性能保留率达99%，但大小减为四分之一。压缩对情感和分类任务几乎无损，但对推理和实体识别任务仍成本较高。