arXiv提出无需重训练的弹性Transformer方法
发生了什么
据arXiv cs.LG论文，研究引入一种无需重训练的方法，将预训练Transformer弹性化为单个模型，以适应连续的计算预算。通过对每个MLP神经元和注意力头进行联合排序并最小化软剪枝损失，该方法在27个从22M到8B参数的Transformer编码器上实现了平滑降级，最高可达60%稀疏度。例如，对DINOv3 ViT-H+/16剪枝至50%稀疏度仅降低0.8%准确率，且无需权重校正。
- 最高稀疏度
- 60%
- 参数量范围
- 22M至8B
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- arXiv cs.LG一手材料
Your Transformer Is Secretly Elastic
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口