MoG-VLM模型发布

发生了什么

据arXiv cs.CV发布，MoG-VLM模型通过运动引导视觉语言模型实现高效视频异常检测。该方法利用运动作为轻量级控制信号，决定何时进行视觉语言模型推理。引入时间梯度幅度(TGM)进行内容感知采样，将计算集中在信息区域。在四个基准测试上，MoG-VLM在XD-Violence、UCF-Crime、MSAD和ShanghaiTech上分别达到91.91%、84.30%、87.88%和78.96%的AUC-ROC，在零样本、无训练设置下在三个基准上建立了新的最先进水平。在XD-Violence上，MoG-VLM比之前最佳结果提高了0.57%，同时推理速度提升了1.31倍。