音视频扩散模型语义泄漏机制研究

发生了什么

据Hugging Face Papers发布的研究，音视频扩散模型在处理文本、声音与视觉内容时，存在基于“注意力三角”的双向语义泄漏机制。研究指出，音频与视频流之间的跨模态注意力路径受模型参数偏见影响，导致语义在生成过程中发生非预期的路由偏移。研究团队通过提取注意力信号诊断该机制，并提出推理阶段的对齐干预方法，以在保持生成质量的同时提升跨模态语义的一致性。