RefDiT：基于参考的图像生成中的局部属性指导

RefDiT 是一种基于参考图像生成的新框架，旨在解决现有方法在多物体场景中难以准确定位相关元素的问题。该方法通过输入参考图像、文本提示及可选的用户指导上下文，利用局部区域属性构建感知条件信号。具体实现上，RefDiT 对标识符令牌进行属性级分解以生成条件信号，并在推理提示中进行上下文调整，用于训练基于扩散 Transformer（DiT）的生成模型的 LoRA 块。通过建立标识符令牌与参考图像局部区域的对应关系，RefDiT 实现了更有效的局部引导控制。