arXiv发布抑制I2T反馈提升MMDiT生成质量研究

发生了什么

据arXiv cs.CV论文《Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback》，多模态扩散Transformer（MMDiTs）中图像到文本（I2T）反馈会保留图像中的错误。研究提出语义反馈引导（SFG）及原地变体iSFG，通过抑制I2T反馈并增强文本到图像条件来改善生成质量。在FLUX模型上，结合CFG的SFG使GenEval得分从0.6661提升至0.7479；在SD3.5M上，零额外NFE的iSFG使HPSv2.1提升1.33。该方法同样适用于文生视频和图生视频任务，提升了VBench评分。代码已开源。