VITAL模型实现视觉运动预测动作学习

发生了什么

据arXiv cs.CV论文报道，研究团队提出VITAL（Vision-Induced Tokens for Action Learning），一种将视觉运动预测与动作学习结合的模型。该模型通过流匹配从当前图像预测视觉运动支架和轨迹误差残差，无需生成未来图像即可执行动作。在NAVSIM v1 navtest中，单步去噪达到90.8 PDMS，速度提升3.29倍；未重训练即在NAVSIM v2 navtest中取得91.1 EPDMS成绩。