LAPT-Scale利用人类视频预训练扩展具身策略

发生了什么

据arXiv cs.CV论文报道，研究者引入LAPT-Scale，一种可扩展的潜在动作预训练范式，利用大规模第一人称人类视频作为替代数据来训练具身策略。该方法通过解释帧间视觉转换学习连续潜在动作，并结合目标机器人本体对齐和任务特定后训练。在23.3K小时视频上训练的策略，随着标注人类视频从1K增至5K小时，真实机器人成功率从63.3%提升至85.0%，并能泛化到未见视觉条件。