LocaLeJEPA模型发布

发生了什么

arXiv cs.CV于2026年10月20日发布LocaLeJEPA模型，该模型基于几何先验的最大熵表示框架与正则化方法。LocaLeJEPA旨在解决JEPA模型在自监督学习中易出现表示崩溃的问题，通过引入理论上基础的分布匹配目标，推动嵌入向各向同性高斯分布发展。该框架通过流形理论的重新表述LeJEPA的熵最大化特性，并配合LocaLeReg正则化器实现稳定和可扩展的实施。实验表明，LocaLeJEPA在ImageNet-1K上训练的模型中，与超球面ViT-S/8和等变ResNet-50主干网络结合时，显著优于LeJEPA，在普通欧几里得ViT-S/8和ViT-L/14主干网络上也表现出色，无论是在ImageNet的线性分类和k-NN分类性能上，还是在一系列下游任务中。该模型被视为JEPA范式中尊重数据内在几何特性的原则性方法，并支持扩展到非欧几里得嵌入几何。代码已开源至GitHub。