RM-Net应对局部模态缺失情感预测

发生了什么

据arXiv cs.CV论文报道，研究提出可靠多模态情感预测网络RM-Net以应对文本、音频或视频的局部连续缺失。该网络在CMU-MOSEI数据集上，融合LoRA-adapted BERT文本专家后，在干净输入下达到macro-F1 0.655，在混合缺失情况下达到0.634。其两视图平均值比辅助头基线高出0.024。