Apple ML研究：数据受限下双语预训练优于超参搜索

发生了什么

据Apple ML Research发布的论文《Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings》，在大多数语言面临的数据受限 regime 中，模型必须重复训练数据多次，导致泛化能力下降。研究指出两种补救措施：激进的超参数调优（如高权重衰减）和混合高资源辅助语言数据。研究表明，在高资源辅助语言数据的直接帮助下，双语预训练优于仅靠超参数搜索来限制网络容量的方法。