RoAR-VAE提升视觉分词器性能

发生了什么

据Hugging Face Papers报道，RoAR-VAE通过鲁棒预测原则优化视觉分词器，提升下游扩散模型的生成性能。该方法通过从损坏的潜在中保留语义和重建信息，平衡保真度和扩散学习性。RoAR-VAE包含两个互补目标：RobustAlign从损坏的潜在中预测预训练语义特征，以保留高级结构；RobustRecon重建干净图像，以保留细粒度空间和外观信息。实验表明，RoAR-VAE在相同训练预算下，平均生成基准性能比最强基线分词器提高2.19分，小文本重建准确率比FLUX.1-VAE提高16.93个百分点，实现了重建保真度和下游生成学习性之间的良好平衡。