大模型解码Token-Energy定律研究
发生了什么
据arXiv cs.LG发布的研究，提出大模型解码Token-Energy定律，通过活跃字节与解码时间量化GPU能耗。该定律将Token能耗与活跃字节、实现解码时间关联，活跃字节描述输出逻辑字节需求，实现解码时间是解码持续时间除以输出Token数。研究结合两者为共同仿射形式，系数针对模型和硬件配置校准，解释了批处理、历史长度和吞吐量对能耗的影响。实验覆盖BF16解码的NVIDIA Hopper和Blackwell GPU上的三个模型，包括Hopper的双GPU张量并行，结果显示使用固定系数和观测解码时间，条件均值能耗估计与测量值差异不超过3.73%
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口