Melange视觉偏见基准发布

发生了什么

arXiv cs.CV于2026-10-21发布研究，推出多模态大模型视觉偏见合成基准Melange。该基准基于BBQ数据集，通过生成视觉场景评估MLLMs的社会偏见，覆盖七类偏见。通过VQA自动筛选和人工检查验证图像，评估23个开源MLLMs在纯文本、纯图像和图文结合三种设置下的公平性。研究发现，从文本转向视觉平均降低公平性0.291，模型在识别属性后仍倾向于选择人类刻板印象回答，约四分之三选择人类典型反应。