CACTUS：曲率感知大模型剪枝优化器

发生了什么

据arXiv cs.LG论文，研究者提出CACTUS，一种基于ADMM的优化器，支持预训练权重的剪枝及稀疏加低秩分解。该方法通过保留影响函数来维持梯度信息对齐。在Qwen3-4B模型50%剪枝测试中，CACTUS比LLM-Surgeon快28倍以上，并将C4困惑度差距缩小45%，显著提升了压缩模型与稠密模型的梯度余弦相似度。