Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One
研究人员提出 PlaidQ，一款 0.7B 连续扩散语言模型用于代码生成。该模型将预训练自回归模型改造为连续词嵌入的双向去噪器，并通过分布匹配和成对轨迹监督进行蒸馏。实验显示，在同等规模下，PlaidQ 在代码生成任务上与离散扩散模型具有竞争力；其 16 步学生模型在 HumanEval 和 MBPP+ 上的 pass@10 分别达到 31.78 和 40.49，优于采样 512 步的 PlaidQ 教师模型。极端情况下，单步去噪蒸馏使模型在 HumanEval 上实现 7.07 pass@1，生成功能正确的程序。这些结果确立了连续扩散作为少步乃至单步代码生成的可行路径。