Video-Point Model (VPM) 发布

发生了什么

研究人员提出Video-Point Model (VPM)，通过点轨迹预测学习4D世界的通用世界模型。该模型条件于多视角视频历史和语言指令，联合预测未来视频和持久场景点的3D轨迹。通过整合互补观察，VPM扩展了预训练世界模型，并添加轨迹头预测物理点随时间的变化。每个轨迹跟踪所有视角中的单个点，从而将每个摄像头的外观变化锚定到3D运动的共同描述。为支持训练和评估，研究人员构建了VPM-Data模拟语料库和VP-WorldBench预测基准。VPM进一步扩展到机器人控制，通过在生成器中添加机器人动作作为标记模态。在VP-WorldBench和现有4D生成基准上，点监督提高了视频保真度和3D运动精度，并在模拟和真实机器人实验中提高了带动作模型的操作成功率。