TTR-Compressor序列压缩方法提出

发生了什么

arXiv cs.LG和Hugging Face Papers报道，研究人员提出TTR-Compressor序列压缩方法，通过测试期回归优化大模型效率。该方法将输入token定义回归问题，拟合系数形成压缩表示，通过反向传播学习，高效计算系数。在块状稀疏注意力中，TTR-Compressor显著提升RULER性能；在视觉token合并中，优于标准MLP合并器，并减少55.6%的视觉token。