SparseDecoding：面向高效LLM推理的解码感知剪枝方法

发生了什么

据arXiv cs.CL报道，研究者提出SparseDecoding框架，旨在解决大语言模型解码阶段的延迟问题。该方法通过收集密集模型自回归生成期间的层激活来构建校准矩阵，使剪枝目标与解码激活对齐。在A100 GPU上，该方法在Llama-3.1-8B等模型上实现了最高1.48倍的端到端墙钟解码加速，并在长文本生成基准测试中表现优于标准固定文本校准。