摘要由 AI 生成
针对通用持续学习中预训练模型与下游任务适配错位及数据流输出对齐不可靠的问题,研究者提出 MePo++ 统一后训练框架。该框架通过 MetaPrep 和 StreamAlign 两个互补组件协同工作:利用无监督元精炼伪持续序列提升表示可塑性,同时协调演变在线特征与稳定预训练几何以增强表示稳定性。实验验证了 MePo++ 在多样预训练模型、数据集及持续学习基线中的持续有效性与通用性,相关代码已开源。
关键实体KEY ENTITIES
MePo++MetaPrepStreamAlign
报道态势 · 每日报道量LANGUAGE SPLIT
实体关系
信号强度SIGNALS
关键词热度
- MePo++1
- MetaPrep1
- StreamAlign1
全部报道(1)SOURCES
↗
通用持续学习(GCL)旨在在不依赖任务标识、明确边界或历史数据的情况下从演变数据流中学习。针对现有预训练模型方法忽视的预训练与下游适应错位及模糊数据流下输出对齐不可靠问题,研究者提出了 MePo++ 统一后训练框架。该框架通过表示精炼与协调两个互补组件 MetaPrep 和 StreamAlign,利用无监督元精炼伪持续序列提升表示可塑性,并通过协调演变在线特征与稳定预训练几何增强表示稳定性。实验在多样预训练模型、数据集及持续学习基线中验证了 MePo++ 的持续有效性与通用性,其代码已开源。