研究人员推出ALPS视觉状态编码器

发生了什么

研究人员推出ALPS，这是一个为世界模型设计的预训练视觉状态编码器，旨在统一物理状态信息、原生语言对齐和像素重建。该模型基于ViT-B/16架构，通过静态图像和文本从零开始预训练，并利用跨视图自蒸馏进行优化。在LIBERO评估中，ALPS在ViT-B模型中实现了最低的聚合状态探测误差，且在配合原生文本塔时达到了85.5%的最高平均策略成功率。相关检查点、LIBERO策略以及JAX和PyTorch代码已开源。