Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
本研究评估了将 LeJEPA（一种由 Sketched Isotropic Gaussian Regularisation 正则化的无预测器联合嵌入架构）适配至分子图神经网络以进行自监督预训练的效果。实验在 Wong et al. 抗生素活性数据集和 ogbg-molhiv 任务上，使用 GPS 和 Chemprop 风格的 D-MPNN 编码器进行了多种子、基于自助法的评估。结果显示，预训练虽能提升学习到的表示质量（在 ogbg-molhiv 任务中冻结探针的 ROC-AUC 从 0.665 升至 0.788），但并未显著改善微调性能；仅在抗生素骨架划分上呈现统计学显著性，而在随机划分和 D-MPNN 微调中效果为零。尽管预训练提供的信息可通过特征级组合（如与 1024 位 Morgan 指纹结合）提升 o…