论文页面 - ShallowStream：针对流媒体视频理解的浅层索引与深层解析方法

为应对多模态大语言模型处理连续视频流时计算成本高昂的问题，研究人员提出了 ShallowStream 框架。该框架利用浅层网络同时执行帧编码与检索索引构建，并在查询阶段通过浅层注意力分数结合多样性选择策略检索证据。实验结果显示，ShallowStream 的性能与最强现有方法持平，同时将每帧预填充延迟和端到端延迟分别降低至原来的约五分之一和十分之一。