ResidualQuant降低Looped Transformer KV缓存占用

发生了什么

据arXiv论文，ResidualQuant利用Looped Transformer各循环KV状态高度相似的特性，以最终循环状态为参考，用低精度残差表示其余循环。该方法结合最小二乘缩放、旋转及混合精度，实现INT2量化并保留高效重建。在多个模型和基准测试中，相比基于旋转的基线，在相同内存预算下准确率提升最高达13.0%，理论KV存储减少80.7%。在RTX 5090上，减少的KV内存流量使固定批次解码吞吐量提升最高2.73倍，更小的内存足迹支持最大2倍批次大小，峰值吞吐量提升最高4.15倍。