OmniTaskonomy研究揭示视觉生成提升理解机制

发生了什么

据Hugging Face Papers报道，OmniTaskonomy研究通过统一分类法分析了19种图像到图像生成任务与25种图像到文本理解能力之间的关系。研究发现，在正确的训练配方下，I2I训练能改善下游I2T性能，且增益随数据量增加而扩大。梯度对齐越强，下游迁移收益越大，揭示了视觉生成作为视觉理解监督来源的选择性益处。