GRASE：基于代理反馈的视频几何原生真实到仿真场景建模

发生了什么

据arXiv cs.CV 10月15日报道，研究人员提出GRASE框架，旨在将真实环境视频转换为可编辑的3D场景，同时保留观察到的几何结构和布局。现有方法通常遵循单遍、松散耦合范式，导致误差传播。GRASE通过将捕获的多视角视频视为持续参考来关闭反馈循环。它首先从深度和多视角线索拟合建筑外壳和开口，然后代理在共享坐标系中放置生成的资产并检查空间关系。最后，迭代优化每个资产的几何形状和位置以提高跨视图一致性。实验表明，GRASE显著优于其他最先进方法，包括使用GPT6-Astra的直接真实到仿真转换。