SheafPrune视觉Token剪枝方法发布

发生了什么

据arXiv cs.CV 10月9日报道，研究提出SheafPrune方法，基于图传播和丛几何指导视觉Token剪枝。该方法使用稀疏文本-视觉图转移相关性，在视觉图上传播分数并进行度校正，在冻结语言模型前保留硬Top-k子集。在LLaVA-NeXT上，保留10%视觉Token可实现5.15倍预填充加速和84.0%端到端FLOPs减少。该选择器约4.5M参数，通过端到端训练获得，在多个骨干网络和基准测试中表现最佳。