Scale-QLoRA: Code-Invariant Adapter Merging for Native 4-bit Microscaling LLMs
Scale-QLoRA 提出一种针对原生 4-bit 微缩放 LLMs（NVFP4/MXFP4）的代码不变适配器合并方法。该方法仅调整每块缩放字段并冻结 E2M1 代码平面，使合并过程在固定格式内成为精确位操作，从而避免传统合并因量化器重推导导致的精度损失及生命周期耦合问题。实验涵盖四模型与四任务，证实 Scale-QLoRA 与 QAT-LoRA 均无精度损失但结构不同：前者保留代码平面，后者通过量化器重推导。相比传统方案，Scale-QLoRA 消除了训练中的直通估计器（每步减少 3.9 倍），支持精确回滚、代码平面去重，并将缩放任务交换速度提升约 125 倍。