阿里论文：视觉Token压缩在Qwen3.5上失效

发生了什么

稀土掘金报道，阿里巴巴团队论文指出，针对Softmax注意力的视觉Token压缩方法在Qwen3.5混合线性注意力架构上集体失效，性能甚至低于随机丢弃基线。原因是线性注意力的有损状态更新改变了特征语义，且存在信息天花板。团队据此开发V-CoLA，保留一半Token实现99.5%平均性能。