UniWALM具身机器人控制模型发布

发生了什么

据arXiv cs.CV发布，研究人员推出UniWALM具身机器人控制模型，统一世界、动作与语言模态并引入纠错流匹配训练目标。该模型在单一共享表示中学习视频、动作和语言，每个模态既是条件信号也是监督目标。与以往将推理或视觉语言模型附加到视频-动作主干并作为独立阶段运行的方法不同，UniWALM将所有三种模态统一在单个混合Transformer主干内，其每模态扩散头同步去噪，解码子任务和文本记忆与动作在同一通过中完成，无需单独规划阶段；生成的语言在下一步被重新消费，形成一个无需外部规划器或内存库的语言作为记忆的循环。为保持动作流在这种更丰富的目标下的可靠性，进一步引入了带纠正的流匹配（FMC），这是一种训练目标，它在没有任何推理时间成本的情况下教授从扰动动作轨迹中恢复。在组合拾取和放置（MolmoSpaces）和RMBench的记忆依赖子集上，UniWALM在相同主干基线（例如，FastWAM）上持续改进，其中它在不使用任何预训练语言或推理模型的情况下达到34.5%，并超过使用单个锚帧的Mem-0的关键帧配置（28.5%）。在现实世界的Find-the-Item任务中，生成文本记忆将成功率从11.1%提高到61.1%，而最先进的视觉语言动作（VLAs）保持在或低于机会水平（<=33.3%）。