Hugging Face Papers发布UltraBERT研究

发生了什么

据Hugging Face Papers报道，研究人员提出UltraBERT，突破BERT预训练极限。该模型通过重新审视训练中的核心设计选择，揭示编码器在数千亿token后饱和、低掩码比率利于分类而高掩码比率利于检索等关键发现。UltraBERT为单编码器分配分离的LM头，成为首个在分类和检索任务上均达到SOTA的模型。