研究：4-bit量化降低模型稳定性与生成质量
发生了什么
据arXiv论文，针对巴伐利亚语、标准德语和英语的研究显示，8-bit GPTQ量化能保持与BF16相近的精度及语言间相对行为。相比之下，4-bit量化（GPTQ和AWQ）稳定性较差，平均准确率降低约1.4-1.5个百分点，并改变11.9-16.0%的决策。自由形式评估表明，4-bit压缩可能降低生成质量，且量化鲁棒性取决于模型、方法及校准数据。
- 准确率降低
- 1.4--1.5 percentage points
- 决策改变比例
- 11.9--16.0%
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口