ReaDy：利用混合线性注意力加速推测解码

发生了什么

据arXiv cs.CL论文《ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models》报道，研究提出ReaDy方法，利用混合线性注意力（HLA）模型的循环状态进行推测解码。在单块NVIDIA B200 GPU上，该方法相比自回归解码实现平均3.16倍加速，优于DSpark基线。