提出Depth Memory框架统一Transformer深度聚合机制

发生了什么

据arXiv论文《Depth Memory》介绍，研究者提出Depth Memory (DM) 统一框架，将PreLN Transformer、mHC和AttnRes描述为在网络中携带表示的流。在此基础上提出线性深度记忆（LDM），将跨深度的信息检索形式化为递归最小二乘回归问题。LDM包含标准残差流、线性关联记忆流和逆协方差流。硬件感知实现降低了峰值激活内存和流量，在400M和1.5B参数规模下取得最低困惑度。