DuoRate提出MoE双速率精度分配方案

发生了什么

据arXiv cs.LG论文，DuoRate解决混合专家（MoE）模型存储与读取精度不匹配问题。在Qwen3-30B-A3B上，2.3 bpw精度下准确率超越所有2-bit基线6.3至47.0点；2.9 bpw时匹配4-bit格式，长解码任务表现优异。