arXiv提出NAME-Bench纠正VLM幻觉评估偏差

发生了什么

据arXiv cs.CL论文，研究指出当前视觉语言模型（VLM）对象幻觉检测将非断言提及误判为幻觉，导致误差率虚高。为此提出NAME-Bench基准，包含25,497个来自COCO图像 captions 的对象提及，分为具体、幻觉和非断言四类。现有检测器对非断言内容的误报率在14%至80%之间。在LLaVA-1.5中，将非断言内容作为负样本训练可大幅修正此问题，但在较新模型上需更多数据且可能降低真实幻觉检出率。