LaLa-World语言条件潜在世界模型发布

发生了什么

据Hugging Face Papers报道，LaLa-World是一个语言条件潜在世界模型，它通过自然语言动作接口联合学习模拟、机器人、视频数据，实现跨域高效规划与策略微调。该模型采用语言条件界面，在异构数据集上联合训练单一未来预测器，并通过语言模型解释语言条件。与独立训练的LWMs相比，LaLa-World在平均MPC规划性能上表现更优。在RAEv2视频生成模型基线的匹配比较中，LaLa-World以6倍更低的训练成本和13.9倍更快的规划速度达到相当规划性能。预训练的LaLa-World作为LaLa-Policy的初始化器，在LIBERO和RoboCasa上与Cosmos Policy表现竞争，推理速度最高达5.5倍更快。