arXiv提出视频GHADAR任务及方法

发生了什么

据arXiv论文，研究引入Grounded Human-Attributed Description and Activity Recognition (GHADAR)新任务，要求描述视频中每个人的特征与活动。团队基于AVA-Actions构建新数据集，提出通过约束VLM交叉注意力掩码的新方法，实验显示其优于现有SOTA VLMs。此外，还开发了基于概念的 holistic VLM评估方案。