研究提出SAS注意力稀疏化方法

发生了什么

据Hugging Face Papers发布的研究，SAS（Simple Attention Sparsification）通过端到端优化上下文排序提升Transformer效率。该方法将选择器的连续分数注入注意力Logits，使模型能通过语言建模损失进行反向传播训练，从而在固定注意力预算下实现更有效的上下文排序。研究指出，SAS在推理、长上下文理解及智能体任务中表现优于现有可训练稀疏注意力基线，并包含支持长序列训练的Triton内核。