IDEA Prune：一种用于生成式语言模型预训练的集成式放大与剪枝流程

近期 Apple ML Research 发表研究，提出名为 IDEA Prune 的新方法，旨在解决大语言模型在有限推理预算下效率与部署之间的矛盾。该研究倡导将此前常被忽视的“增大模型预训练”环节整合进结构化剪枝管道，构建一个集成的处理系统。此项工作主要致力于回答两个关键问题：首先，即便模型最终不直接部署，进行预训练阶段的模型增大是否具备价值；其次，如何优化这一包含增大与剪枝在内的完整流程。