研究将英语质量分类器适配多语言LLM预训练数据筛选

发生了什么

据arXiv cs.CL报道，一项研究探索将英语质量分类器适配至100多种语言的LLM预训练数据筛选。该方法通过在Transformer编码器嵌入上训练多层感知机，使用机器翻译文本的英语分类器得分作为标签。在1B、3B和8B规模实验中，该方法保持了下游LLM基准性能，未损害区域和文化知识基准，并展示了跨语言泛化能力。