Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes
本文提出了一种针对推测解码中损失性验证方法的原理性分析,将其统一为截断式验证和协作式验证两类。研究构建了跨基准的诊断评估框架,发现截断式方法因分布扭曲导致性能显著低于真实截断采样基线;而协作式验证中,过冲抑制和监督质量比草稿与目标模型的线性插值更重要。相关代码已开源。
EVENT DOSSIER
针对推测解码中的损失性验证方法,研究将其统一划分为截断式验证和协作式验证两类。通过构建跨基准诊断评估框架发现,截断式验证因导致分布扭曲,其性能显著低于真实截断采样基线;而在协作式验证中,过冲抑制与监督质量比草稿与目标模型的线性插值更为关键。该研究提供了原理性分析并开源了相关代码。
本文提出了一种针对推测解码中损失性验证方法的原理性分析,将其统一为截断式验证和协作式验证两类。研究构建了跨基准的诊断评估框架,发现截断式方法因分布扭曲导致性能显著低于真实截断采样基线;而协作式验证中,过冲抑制和监督质量比草稿与目标模型的线性插值更重要。相关代码已开源。