EgoXperience提出联合重建框架

发生了什么

据Hugging Face Papers报道，EgoXperience是一个第一人称视角联合重建框架，旨在从人类经验中学习世界感知的自身表示。该框架通过自动标注的大规模数据和单次通过模型，联合重建相机运动、场景几何、手部和物体。EgoXperience包含自动标注引擎EgoX-Engine，结合几何验证的物体跟踪与SLAM世界对齐，提供一致的监督。EgoX-Data-6M是一个50小时的数据集，包含室内外环境的任务驱动操作和移动，以及二级任务标题。EgoX模型在单次前向传递中实现相机、场景、手部和物体在共享世界坐标框架内的联合度量重建。实验显示，EgoX在场景估计和世界空间手-物体姿态恢复方面达到最先进性能，相比最强基线，将相机、手部和深度误差分别降低了68.9%、65.6%和42.9%，并提高了物体姿态分数28.0%