研究：分词器选择显著影响低资源语言表现

发生了什么

据arXiv cs.CL报道，一项涵盖54种分词器和123个语言模型的研究发现，分词器选择对多语言模型表现的影响在不同语言间差异显著。对于训练数据较少的低资源语言，分词器选择的影响更大，其比特每字节（BPB）的标准差随训练数据份额减少而增加。将某种语言排除在分词器训练之外会提高其BPB，且对低资源语言的惩罚更大。研究建议利用量化指标预测下游模型的BPB排名，作为训练前筛选分词器的策略。