Google Research提出大模型持续学习Sleep框架

发生了什么

据Google Research公告，该机构提出一种名为“Sleep”的持续学习框架，旨在解决大模型在部署后的灾难性遗忘与知识截止问题。该框架通过模拟人类睡眠过程，在离线阶段利用预分配的MoE内存块与自生成练习更新模型权重，实现长短期记忆的整合。实验显示，该方法支持模型在保持核心架构不变的前提下，持续学习新事实并提升推理能力，在BABILong基准测试中实现了长达10M token的上下文知识保留与压缩。