CLIP在部分相关视频检索中的内在时间适应机制

针对部分相关视频检索（PRVR）问题，研究团队提出一种名为 Intrinsic Temporal Adaptation (ITA) 的新框架。该框架通过 Backbone-Internal Temporal Adaptation 机制，使视觉 Transformer 的最后一层能够关注邻接帧组，同时保持 CLIP 模型主体冻结，仅训练适应参数。此外，框架引入了 Affinity-Weighted Gradient Propagation 方法，基于文本与帧之间的亲和力聚合前 k 帧以传播学习信号。实验表明，该方法在 PRVR 基准测试中达到最先进水平，展现出跨数据集的鲁棒性，并能在真实相关时刻检索到更准确的帧级证据。相关代码已开源。