激活校准奇异值分解加速盲压缩图像恢复

发生了什么

研究人员提出激活校准奇异值分解ASVD方法，实现盲压缩图像恢复模型的免训练加速与降本。该方法通过分析Transformer模型在盲压缩图像恢复中的计算集中点、压缩输入下的通道激活分布及投影权重的奇异值衰减，识别出注意力、前馈、卷积和提示条件路径中的重复投影作为有效的低秩替换目标。研究建立截断奇异值分解TSVD作为免训练基线，并揭示统一低秩目标与压缩图像通道不平衡特征分布的不匹配性。激活校准奇异值分解ASVD从预训练权重和少量压缩校准图像中离线推导低秩因子，通过通道激活幅度加权，对更活跃的通道分配更大惩罚，无需重新训练或在线校准，保持恢复流程完整。在PromptCIR模型上以64阶实现时，ASVD在四个标准基准下均优于TSVD，同时将参数减少59%（从34.75M降至14.34M），计算量减少16.1%（从258.79 GMACs降至217.16 GMACs），实现无需重新训练的加速。