研究发现化学语言模型预训练收益不随规模增长

发生了什么

据arXiv cs.CL论文《Does Pretraining Teach Chemical Language Models Chemistry?》研究，研究人员系统研究了化学语言模型（CLMs）在64个分子属性预测数据集上的预训练效果。发现CLMs的下游预训练收益不随规模增长，且性能低于梯度提升基线。仅在传统物理化学描述符上进行监督预训练能持续改善性能，而某些形式的预训练会导致模型性能差于随机初始化的编码器。模型虽能解析分子结构，但并未比随机初始化模型表现更好，表明其仅学习了类似描述符的属性而非深层化学知识。