研究提出大模型长文本持续预训练扩展规律

发生了什么

据arXiv cs.CL发布的研究，大模型长文本持续预训练（LCCP）的效益与用于LCCP的token数量相关。研究建立了长文本性能与模型大小及短文本预训练和LCCP的token预算相关的经验加性幂律。引入的Constant-Last4协议通过平均最近四个连续检查点来稳定监控训练轨迹。研究证实LCCP性能持续提升，无明显饱和迹象，且效益可迁移至下游任务。