BUZZY: Contrastive Scoring to Mitigate Text-Induced Bias in Multimodal Multiple-Choice QA
BUZZY 提出一种无需训练即可缓解多模态选择题问答中文本诱导偏差的解码方法。该方法基于“候选选项作为文本先验”的假设，通过从多模态预测中减去仅文本分布来校正视觉信号不足导致的偏差。在五个 VLM 模型于五个基准上的实验中，BUZZY 实现了最先进的平均准确率，并将推理延迟降低了超过 28%。研究结果表明，通过惩罚仅基于文本的偏好来增强视觉信号，是提升多模态 MCQA 推理效率与鲁棒性的关键。相关代码及资源已发布在 https://txxnrd.github.io/buzzy/。