Hugging Face Papers发布两篇注意力机制研究
发生了什么
据Hugging Face Papers报道，MassAlloc Attention (MALA) 通过归一化贡献自适应分配计算量，在128K tokens下训练前向/后向延迟降低2.2x/3.0x，推理降低1.6x。CoWindow Attention (CoWA) 通过结构化稀疏窗口分布因果历史访问，在相同规模下训练延迟降低7.4x/8.6x，推理降低3.0x。两者均在保持FullAttn精度的同时显著减少FLOPs。
- MALA训练加速
- 2.2x-3.0x
- CoWA训练加速
- 7.4x-8.6x
报道与来源
2 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- Hugging Face Papers转载
Paper page - CoWindow Attention: Full Causal Coverage Is a Collective Property
- Hugging Face Papers转载
Paper page - MassAlloc Attention: Let Attention Allocate Its Own Compute
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口
- 来源报道1 个发布入口