预训练知识组织决定更新效率

发生了什么

据arXiv cs.LG研究，预训练期间按时间顺序组织知识的“专家型”模型比随机打乱的“通用型”模型学习新知识所需步骤更少。研究推导了更新成本与优化动力学的定律，并设计了保留历史知识同时支持高效更新的预训练数据组织策略，该优势已延伸至真实预训练模型。