摘要由 AI 生成
针对扩散 Transformer（DiTs）部署效率低下的问题，研究团队提出了 SVDtrunc 两步块级压缩策略。该方案首先在全局参数预算下按秩分配并压缩重要性最低的模型块，随后通过模块化知识蒸馏和修正流目标微调所有块以恢复性能。实验在 FLUX.dev 模型上进行了从原始参数量 40% 到 90% 的压缩测试。结果显示，SVDtrunc 在 GenEval、HPSv2 和 DPG 三项基准测试中表现优于现有竞争方法。特别是在保留 68% 参数预算时接近全性能，且在 57% 参数量下仍保持竞争力。此外，该方案与步骤蒸馏互补，即使不进行微调也能取得良好效果。
关键实体KEY ENTITIES
DPGFLUX.devGenEvalHPSv2SVDtrunc
报道态势 · 每日报道量LANGUAGE SPLIT
实体关系
信号强度SIGNALS
关键词热度
- SVDtrunc1
- FLUX.dev1
- GenEval1
- HPSv21
- DPG1
全部报道（1）SOURCES
↗
Diffusion Transformers (DiTs) 面临部署效率挑战，研究团队提出 SVDtrunc 方案以解决该问题。SVDtrunc 是一种两步块级压缩策略：首先在全局参数预算下按秩分配并压缩重要性最低的块，随后通过模块化知识蒸馏和修正流目标微调所有块。该方法在 FLUX.dev 模型上进行了从原始参数量 40% 到 90% 的压缩测试。在 GenEval、HPSv2 和 DPG 三项基准测试中，SVDtrunc 表现优于所有竞争方法。特别是在 68% 的参数预算下保留了近全性能，且在 57% 参数量下仍保持竞争力。此外，该方案与步骤蒸馏互补，即使不进行微调也能取得良好效果。