PolyU发布OmniCompass视频基准

发生了什么

据Hugging Face Papers报道，PolyU发布了用于全方位评估多模态视频理解与定位能力的基准测试工具OmniCompass。该基准包含OmniCompass-VL和OmniCompass-AV两个评估轨道，涵盖时间定位、空间定位及问答任务。OmniCompass-VL包含820个视频，OmniCompass-AV包含240个视频，所有实例均经过人工标注。研究人员通过该基准对50个多模态大语言模型（MLLMs）进行了评测，结果显示开源模型在视听理解方面仍落后于闭源模型。