arXiv提出4-bit AdamW量化新方法

发生了什么

据arXiv cs.LG论文，研究从舍入空间视角重新设计AdamW优化器状态的4-bit量化方法。提出ZIP-SR和ZE-EDEN两种方案。在1.3亿至27亿参数的预训练实验中，两种方法均降低了验证损失差距，最大降幅达70%，并在微调中实现更低验证损失。