对比多模态对齐范式

发生了什么

据arXiv cs.AI发布的研究，对比了联合、解耦与智能体三种多模态对齐范式，并提出了基于任务诊断的选择方法。研究在16个数据集上测试了各范式，发现无范式在所有数据集预算组合中占优，解耦范式在54个组合中表现最佳，联合范式在44个中占优，智能体范式在46个中表现最佳。研究还发现，随着监督增加，ScienceQA、MELD和MetMeme从智能体范式转向融合范式。联合范式在五个问答数据集的四个上表现优于解耦范式，而较高的单模态5-NN准确率与解耦范式在八个分类数据集上的相对转变相关。研究提出了一种两步级联方法，结合诊断、任务和预算元数据来选择智能体或融合，然后选择联合或解耦范式，该方法在留一组外的评估中选择了赢家，准确率高于仅使用元数据的路由。