论文提出EDR目标直接最小化解码轮次优化推测解码

发生了什么

据arXiv cs.LG报道，一篇论文提出通过直接最小化期望解码轮次（EDR）来优化推测解码中的并行草稿模型训练。该方法将推测解码表示为马尔可夫奖励过程，推导出的EDR目标无辅助超参数且能精确等于期望解码轮次。在DSpark和DFly上的微调实验显示，该方法一致提高了平均接受长度，并在九个基准测试中优于现有训练目标。