研究揭示推测解码长度膨胀

发生了什么

据arXiv cs.CL论文，训练无关有损推测解码存在长度膨胀现象。研究显示，放松验证平均每轮接受1.34倍令牌，但生成文本长1.54倍。这主要因延长推理轨迹抵消了速度增益。仅凭接受率无法准确衡量解码速度，需结合完成长度与验证轮次评估效率。