arXiv发布DepthWorld机器人操作3D世界模型

发生了什么

据arXiv cs.CV论文，研究提出DepthWorld，一种基于Stable Video Diffusion的3D世界模型，用于机器人操作。该模型通过空间潜在分块联合预测多视角RGB和深度，保持预训练VAE不变。研究引入校准管道结合学习立体深度与联合因子图，利用DROID数据集构建DROID-3D校准3D数据集，实现<0.7像素重投影误差。实验显示，深度监督使RGB预测PSNR提升1.48 dB，并提供准确度量深度以支持下游几何推理。