ReplaySSM提出缓存输入加速混合模型推理

发生了什么

据arXiv cs.LG论文，ReplaySSM通过缓存SSM近期输入而非状态来加速混合模型推理。该方法将输出计算与检查点更新分离，避免大部分步骤的状态写入，使主导状态内存流量减半。在vLLM中实现后，标准解码速度提升1.20-1.47倍，推测解码吞吐量约为基线的1.8倍。