arXiv提出读取扩散Transformer上下文Token框架

发生了什么

据arXiv论文，研究引入通过自然语言问答读取多模态扩散Transformer（MM-DiT）内部动态的框架。该框架训练轻量级瓶颈网络，将中间上下文Token映射至冻结大语言模型输入空间，使模型能直接回答关于生成图像的问题。研究发现上下文Token编码了丰富的全局场景表示，包括提示词未指定的属性，且信息在去噪早期即可读取。基于此，研究提出Contextual Alignment训练技术，强化视觉语义信息，提升了生成质量与分布覆盖度。