RepProbe诊断视频语言模型重复动作计数能力

发生了什么

据arXiv cs.CV论文，研究者引入RepProbe基准测试，包含4.2万个真实和合成视频片段，用于诊断视频语言模型在重复动作计数方面的局限性。研究发现，尽管模型能流畅描述动作，但无法可靠计数。控制实验表明，计数失败主要源于输出阶段，存在表征与输出的解离：模型内部编码了重复结构信息，但在输出时倾向于集中在少数偏好数字上。