Deep Fusion Memory架构发布

发生了什么

Hugging Face Papers于2026年10月23日发布Deep Fusion Memory (DFM)，这是一种大模型分块级参数化记忆架构。DFM通过门控交叉注意力将预测的参数化记忆整合到中间隐藏状态，减少检索开销，提升知识密集型任务表现，无需在线检索。与现有方法相比，DFM在训练数据构建时减少32倍检索查询和2048倍检索项。在Mistral-7B-v0.3和Qwen3-8B-Base上的六项QA任务中，DFM分别比最强基线提升12.71%和11.19%。此外，在领域适应任务中，DFM在Qwen3-4B-Base和Qwen3-8B-Base上分别平均提升6.51和4.38个百分点。