Attn-Forcing提升流式视频生成

发生了什么

据arXiv cs.CV发布，Attn-Forcing框架通过学习全上下文注意力代理，在有限内存与计算下提升流式视频生成质量与性能。该框架引入注意力代理持续近似历史上下文引起的注意力响应，并使用Proxy Update Module整合历史latents的视觉上下文。Attention Matching Loss被提出以使用全上下文注意力监督约束代理的注意力行为。实验表明，Attn-Forcing持续提升流式视频生成质量，并超越现有基线方法达到最先进性能。