BitSparse：ReLU网络无损压缩格式
发生了什么
据 arXiv cs.LG 报道，论文提出 BitSparse，一种用于 ReLU 前馈网络的 GPU 驻留无损压缩格式。该格式通过自定义 Triton 内核融合到 autograd 函数中，支持 Bfloat16 (BF16) 和 FP8 激活，可选符号位打包可进一步增加压缩率。在 Modded-NanoGPT 和 Nemotron-H 上，BitSparse 分别降低每 token VRAM 使用量 31% 和 30%，且开销不超过 1%。
- Modded-NanoGPT VRAM 降低
- 31%
- Nemotron-H VRAM 降低
- 30%
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口