发布ELLSA 2全双工对话模型

发生了什么

据arXiv 10月15日论文，研究者提出ELLSA 2，一种端到端全双工对话模型，联合优化语音交互与流式手势表情生成。该模型采用自回归块合成器，结合预训练声学特征与对话骨干网络的听/说隐藏状态，实现说话时的连续非语言生成。引入上下文语义调用和模板指导以提升语义手势质量。实验表明，ELLSA 2在全双工语音交互模型中具有竞争力，并在对话感知手势指标上优于级联基线。