跳到正文
智迹闻AuraTracer

研究:长序列下扩散模型能效约为自回归2倍

本机阅读

发生了什么

据arXiv论文,在200-600 tokens长序列下,扩散语言模型(LLaDA-8B、Dream-7B)能耗为2.5-2.7 J/token,约为带KV-cache的自回归模型(Llama-3.1-8B、Qwen-2.5-7B)5.3-5.7 J/token的两倍高效。KV-cache使自回归模型能耗降低50-70%。

扩散模型能耗
2.5-2.7 J/token
自回归模型能耗
5.3-5.7 J/token

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.LG一手材料

    Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口