研究提出多流注意力残差网络架构

发生了什么

据Hugging Face Papers报道，研究人员引入了多流注意力残差（MSAR）架构。该架构将注意力机制扩展至深度维度，通过多尺度因果卷积获取流多样性，并利用轻量级自适应混合生成单流层输入。实验显示，在18B和28B MoE规模下，MSAR在12项基准测试中表现优于标准残差、mHC及AttnRes，且在等损失计算下实现了1.58倍的加速。