SepGen单模型实现多声源音视频分离与生成

发生了什么

Hugging Face Papers报道，SepGen扩展预训练音视频生成器，在单次采样中同时输出视频、混合音频及每个标注声源的独立波形。该模型支持两种模式：生成模式下根据文本描述分别生成各声源；分离模式下从混合音频中提取指定声源。实验表明，在提供台词字幕的情况下，SepGen在语音分离任务上优于语言条件分离器，即使移除字幕仍保持领先。