GeoMem-VLA提升具身机器人控制成功率

发生了什么

GeoMem-VLA通过将3D场景理解内化为时间记忆，提升具身机器人控制任务的成功率。该框架将显式3D监督内化到专用的几何标记中，并将其作为时间记忆用于动作生成，无需直接对齐VLM的视觉嵌入与教师特征空间。在训练中，冻结的几何基础模型通过几何流匹配目标监督可学习的GeoPlan标记。在推理时，策略检索历史表示并将其与当前工作表示融合以预测动作，无需调用3D教师或显式重建场景。GeoMem-VLA在LIBERO上达到98.9%的平均成功率，在RoboTwin的干净/随机化设置上分别达到91.10%和91.24%，在五个真实世界任务中达到78.0%的平均成功率。