Google Research 发布 SLEEP 方法

发生了什么

据 Google Research 公告，SLEEP 方法通过在“清醒交互”与“睡眠巩固”间周期切换，旨在减轻大模型灾难性遗忘。该方法在睡眠阶段暂停输入，利用 MoE 记忆块进行记忆巩固，并将短期上下文信息迁入长时参数，同时通过生成合成数据的“做梦”阶段进行自我改进。评测显示，该方法在持续翻译、长上下文处理及数学推理任务中表现优于基线模型。