Motion-Omni端到端对话动作生成框架发布

发生了什么

据Hugging Face Papers报道，Motion-Omni框架通过Qwen2.5-7B-Instruct基座实现语音与全身动作的联合生成。该框架摒弃了先生成语音再匹配动作的级联模式，直接从语音生成的隐藏状态中输出面部表情及肢体动作。研究显示，Motion-Omni-Q7版本在参考无关动作指标上与教师级联模型差距在2%以内，推理速度快5.4倍（RTF=0.78），并以2.62%的词错误率（WER）在对比的全模态系统中表现最优。此外，研究团队发布了SwDA-500数据集及针对开放式全身对话的评估协议。