Meta提出MC-Sparse加速扩散Transformer

发生了什么

据Hugging Face Papers报道，论文提出Meta-Cached Sparse Attention (MC-Sparse)框架，通过元缓存稀疏注意力缩小稠密-稀疏差距并加速生成。该无训练框架选择单个键值（KV）令牌，并将相似查询组织成瓦片对齐组以高效GPU执行。它缓存查询组、使用精确注意力概率选择的KV索引以及稠密与稀疏注意力输出之间的残差，并在后续去噪步骤中重用。在视频和3D资产生成模型上，MC-Sparse相比现有稀疏注意力基线实现了更高的保真度和更大的去噪加速，且无明显质量损失。具体而言，相对于稠密注意力，它在Minimax-H3-Base上实现1.80倍去噪加速，在3D资产生成上实现2.32倍加速。