OmniCapBench揭示MLLM音视频推理局限

发生了什么

据arXiv cs.CV报道，研究团队引入OmniCapBench评估框架，将音视频描述评估重构为深度结构化诊断框架。该框架预测目标从自由文本转向原子化、可验证的评价单元集合，涵盖实体引用、视觉镜头和音频事件三个轨道。基于786个密集标注视频，OmniCapBench有效区分了MLLM感知错误，包括时间定位失败、身份漂移、跨模态不对齐和幻觉描述。评估前沿MLLM显示，模型具有强大的局部感知能力，但在长视野音视频推理方面表现较弱，特别是在身份漂移和跨模态不对齐方面。