开源320B稀疏MoE基础模型IQuest-Q1发布

发生了什么

据Hugging Face Papers报道，IQuest-Q1是一个通过多阶段训练（预训练、中训练和后训练）增强智能体代码能力的开源320B稀疏MoE基础模型。该模型具有320B总参数（15B激活参数），采用三阶段开发流程，包括稳定高效的预训练、跨领域和格式的细粒度中训练以及多脚手架多版本后训练，以实现强大的代码和通用能力。模型还通过合并不同专家和检查点来减轻参数更新冲突。IQuest-Q1已开源以支持社区研究和发展。