OccludeBench评估VLM从遮挡恢复隐藏物体能力

发生了什么

据arXiv论文《OccludeBench: Can VLMs Find What's Missing?》介绍，研究提出OccludeBench基准测试，用于评估视觉语言模型（VLMs）从剩余视觉证据中恢复完全遮挡物体的能力。该基准区分直接案例（需从阴影或反射等物理线索恢复）和推理性案例（从更广泛的场景上下文推断）。在五款VLMs上，直接案例准确率为42.7%，推理性案例为62.7%，存在20.0点差距。人类准确率分别为63.4%和68.5%，无显著差距。引入OccludeTrace诊断发现瓶颈在于从完整图像投影中恢复相关对象时，模型仅能解决50%的错误示例。通过“先 inpaint 后 confrontation”干预，可将差距缩小至统计不显著。