循环均匀扩散语言模型提升效率研究
发生了什么
arXiv cs.LG发布研究报告称，循环均匀扩散语言模型（UDLMs）通过迭代去噪普通词汇标记序列提升训练与推理效率。研究显示，循环UDLMs在OpenWebText上使用2.8倍更少训练FLOPs、在FineWeb-Edu上使用3.3倍更少FLOPs达到与未循环UDLMs相当验证NLL。匹配NFE预算下，循环UDLMs生成困惑度最多低9.8%，主要在中等循环计数时获得提升。此外，更频繁采样较小循环计数策略提升推理效率，下游任务减少12%循环使用而不影响准确率。
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- arXiv cs.LG一手材料
Looped Uniform Diffusion Language Models
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口