Latent Sparse Attention优化Qwen-3.8

发生了什么

据X平台用户@0x0SojalSec发布，Latent Sparse Attention技术应用于Qwen-3.8-27B模型，使超长文本处理成本降低70倍。该技术无需全量重训练，通过蒸馏索引器即可实现，且模型精度基本保持不变。在100万至1000万token的工作负载下，该方案实现了72.4倍的预填充注意力加速、42.5倍的解码加速及9倍的首字生成速度提升。目前相关代码库与蒸馏权重已公开。