SocioGesture: Real-Time and Adaptive Social Gesture Perception for Human-Robot Interaction
SocioGesture 系统实现了面向人机交互的实时自适应社会手势感知。该系统采用紧凑的信心感知身体 - 手部骨架表示与轻量级双流模型,融合肢体运动与手部姿态以实现低延迟边缘端识别。为提升部署鲁棒性,模型通过包含缺失手部、遮挡手臂及时间不稳定关键点等数据的骨架破坏训练进行强化。在混合室内外人机交互场景收集的社会手势数据集上测试,SocioGesture 实现了强力的未见主体识别,显著改善了结构化关节遮挡下的鲁棒性,并能在机器人搭载的边缘设备上实时运行。部署期间,不确定的交互片段被保存用于离线标注与适应,使系统能扩展手势词汇量同时保持原有类别性能。