arXiv提出HEP模型可扩展性方法

发生了什么

据arXiv论文，研究针对高能物理实验（HEP）任务提出系统化的缩放定律推导程序。该研究在~110亿喷注的ATLAS JetSet2数据集上验证了多任务Transformer的性能。在数据受限条件下，预测了联合最优模型大小、训练周期等参数。计算最优缩放下，模型与数据集规模呈现近相等的根号C依赖关系，且辅助目标可降低主要损失。