CausalAlign框架提升视频生成模型一致性

发生了什么

据arXiv cs.CV发布，CausalAlign框架通过delta-token空间对齐提升视频生成模型相机运动一致性。该框架包含诊断和加强ego-motion状态两个组件，诊断VGMs中ego-motion的表示、使用和保留，并通过delta-token空间将识别层的表示与3D基础模型对齐，聚焦ego-motion动态。在Wan2.2上微调后，CausalAlign显著提升运动准确性、几何一致性和时间平滑度，几何一致性相对基础模型提高20%。此外，它还提高了RoboCasa365基准中世界行动模型（WAMs）在移动操作任务上的成功率。