清华智谱联合论文揭示多模态瓶颈

发生了什么

清华大学与智谱AI联合发布研究，揭示了多模态模型在图像生成与文字问答间的技术瓶颈。研究指出，模型虽能通过图像生成训练掌握视觉属性，但难以将其转化为语言答案，即“会画却不会说”。实验显示，GLM-Omni在图像生成任务中正确率达54%，但纯文字问答正确率仅14.57%。团队提出“图文交错对齐”方法，通过将图像生成与文字回答置于同一训练序列，使GLM-Omni的文字回答正确率提升至26.86%。