PISA实现块稀疏注意力对数线性复杂度

发生了什么

据Hugging Face Papers报道，研究提出PISA机制，通过金字塔Top-K策略实现块稀疏注意力，将复杂度降低至O(N log N)。该方法利用分层键池化和硬件感知Triton内核，避免计算查询-键分数矩阵。评估显示，PISA在常识推理任务上性能相当，并在检索任务中优于基线，有效解决了长上下文扩展中的二次方成本瓶颈。