研究提出基于多帧表示预训练的事件动作识别方法

发生了什么

据arXiv cs.CV 10月9日论文，研究者提出一种多帧表示方法以改进事件相机动作识别性能。该方法采用掩码自编码框架预训练Vision Transformer，引入稀疏感知掩码算法和令牌选择机制。通过为解码器引入多个掩码令牌及位置感知注意力机制，提升了长时复杂序列的识别能力。该模型在THU-EACT-50 CHL和DailyDVS-200数据集上达到最先进水平。