arXiv发布LiveSync唇同步框架

发生了什么

据arXiv cs.CV论文，研究提出LiveSync迭代自训练框架，用于音频驱动的唇同步生成。该框架利用掩码模型生成伪配对数据并优化同一模型，无需增加推理阶段。实验显示其在HDTF数据集上取得领先的同步性能，并在AIGC-LipSync子集上保持竞争力，同时维持低推理延迟。