研究揭示扩散与自回归模型中文本到图像Transformer的注意力汇聚机制

发生了什么

据arXiv cs.CL，研究揭示扩散与自回归模型中文本到图像Transformer的注意力汇聚机制。通过系统的注意力分析和针对性干预，研究人员确定注意力汇聚现象在双向扩散和自回归模型中均存在，但表现出不同的模式。自回归模型将注意力集中在第一个和全局规模的令牌上，而双向模型在模态边界附近、文本区域内和空间角落形成汇聚。此外，这些模式随生成阶段变化，并局限于稀疏的层和头部子集。为了评估其功能相关性，研究人员扰动与汇聚相关的头部和令牌位置。结果发现，扰动汇聚排名的头部产生的平均变化大于非汇聚比较，而一些汇聚位置扰动对双向模型分数的影响有限。研究人员还引入了寄存器令牌来重新分配注意力汇聚，发现几种配置保持或 modestly 改善生成性能。总体而言，注意力汇聚是依赖于架构、推理阶段和组件的现象，为文本到图像Transformer中的机制分析和原则性注意力设计提供了基础。