视觉生成可增强多模态模型知识获取

发生了什么

据arXiv cs.CV研究，引入“知识传递探测”协议发现，统一多模态模型通过图像生成训练获得的视觉监督，能直接但不均衡地提升文本问答中的知识访问能力。通过文本对齐和交错图文对齐技术，可进一步改善实体知识的访问，表明视觉生成是超越文本监督的知识来源。