AdaLoop增强多模态模型推理

发生了什么

据arXiv cs.CV论文，AdaLoop框架提出针对视觉语言模型(VLMs)的问题条件视觉循环机制。该框架冻结预训练视觉权重，根据问题动态调整视觉计算深度并复用编码器变换。引入VisRO数据集进行训练评估，在六个VisRO任务上，AdaLoop优于标准微调及单遍基线，且在分布内和分布外示例上均保持优势，证实预训练视觉编码器可通过任务导向的迭代视觉计算贡献于推理。