arXiv论文提出扩散模型自参考优势学习框架SALD

发生了什么

据Hugging Face Papers转引arXiv论文《SALD：无需教师网络的扩散模型自参考优势学习训练框架》，受语言模型自适应中单模型利用内部参考信号启发的原理，研究者提出SALD框架。该框架无需外部演示或教师网络，通过同一模型在两个不同噪声水平下评估图像-文本对来获取自参考训练信号。较低噪声路径提供梯度追踪参考，较高噪声路径提供训练梯度，利用两者误差差异调整硬路径目标。光谱优势分解（SAD）进一步比较残差功率谱构建可微频率衍生潜在元素权重。所有组件共享单一模型参数集，训练或推理时无需额外可训练参数或修改推理过程。实验显示在多架构和数据集上持续改善生成质量。