LILIE语言感知损失助JiT模型gFD降至53.01

发生了什么

据arXiv cs.LG报道，研究引入LILIE（Language-Informed and Lossless Image Encoder），一种可逆图像变换编码器。该编码器通过归一化流Transformer与视觉-语言模型联合训练，使模型能从噪声特征恢复字幕。利用该编码器提取的语言感知损失训练JiT模型，在GPIC数据集上将gFD指标从66.84降至53.01，较仅使用像素损失的基线降低14点。相关代码、编码器和生成模型已公开。