ShallowStream框架提出流式视频理解方案

发生了什么

据Hugging Face Papers报道，ShallowStream框架通过利用多模态大模型（MLLM）的浅层进行帧编码与索引构建，旨在降低流式视频理解的计算开销。该框架在处理视频流时维护轻量级索引，并结合注意力分数与多样性感知选择策略进行证据检索。据研究自报，ShallowStream在保持视频检索准确性的同时，将每帧预填充延迟降低至多52.1倍，10秒端到端延迟降低至多11.9倍。