提出生成式表示学习方法

发生了什么

据arXiv cs.CV报道，研究人员提出了一种用于生成建模的可扩展潜在标记化的自监督表示学习方法。该方法通过对数据点互信息因子化来监督表示损失，避免了维度崩溃和特征抑制。实验表明，该方法在ImageNet和GPIC数据集上比DINOv2和WebSSL分别节省7倍和8倍的FLOPs，且在像素空间生成方面优于直接扩散模型。