GazeLens提出视线驱动的自适应Token压缩方法

发生了什么

据arXiv cs.CV发布，GazeLens结合帧选择与视线和问题引导的Token压缩，实现高效第一人称视角视频问答。它通过HOG转换和图像清晰度先选择帧，再用高斯池形成视线聚焦和补充摘要，结合全局场景Token，每帧保留在两个Token内。在StreamGaze上，GazeLens比全网格和Token压缩基线有更高准确率，且比共享主干Token压缩基线有更低输入前向FLOPs。