研究发布ALIVE框架：通过首帧引导实现视频中插入物体的连贯交互

发生了什么

据Hugging Face Papers 10月6日报道，研究团队发布ALIVE框架，使插入的视频物体能够通过编辑后的第一帧和指令与源内容连贯交互。当前视频编辑器难以让插入物体参与拾取或操作等交互。ALIVE通过编辑第一帧和仅命名添加物体的指令，使插入物体通过协调行为“活”起来。团队整理了35,800个编辑对，结合3D渲染、模型生成和真实世界视频。训练视觉语言模型预测交互指导。在无VLM指导的情况下，ALIVE在两个基准测试中的总体得分分别比最强基线提高43.9%和4.4%。VLM预测的指导进一步将ALIVE交互评分提高了0.95分。