具身智能体持续预训练研究

发生了什么

Hugging Face Papers和arXiv cs.AI分别报道了题为《Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds》的论文，该研究探讨了具身智能体在虚拟世界中的持续预训练。研究通过控制实验，评估了数据量、多样性及模型规模对泛化能力的影响。结果显示，更多数据提升了在语料库内的性能，多样性提高了向相关世界的迁移能力，但增益有限；模型规模提升了数据效率，但在单一世界训练下泛化能力更差。研究还观察到早期接口阶段具有广泛的跨世界效益，后期世界阶段效益则局限于语料库和相关世界。研究结果表明，模仿的局限性以及远世界中的持续差距表明，构建通才具身智能体需要超越持续预训练的更丰富的训练阶段。