基于对比学习的视频理解研究综述.docVIP

基于对比学习的视频理解研究综述

一、对比学习与视频理解的发展脉络

对比学习作为自监督学习的核心范式之一，其核心思想是通过构造正负样本对，让模型在特征空间中拉近相似样本的距离、推远不相似样本的距离，从而学习到具有判别性的特征表示。这一思路最早可追溯到20世纪90年代的度量学习研究，但直到2018年前后，随着MoCo、SimCLR等经典图像对比学习框架的提出，对比学习才在计算机视觉领域迎来爆发式发展。而视频作为包含时序信息的高维数据，其理解任务天然需要模型同时捕获空间语义与时序演化规律，对比学习的出现恰好为解决视频标注成本高、时序建模难等痛点提供了新的路径。

早期的视频理解研究主要依赖有监督学习，需要大量人工标注的视频数据集，如Kinetics、ActivityNet等，标注成本极高且难以覆盖开放场景下的海量视频内容。2019年，视频对比学习的开山之作《VideoMoCo》正式发表，首次将动量对比的思路引入视频领域，通过构造同一视频的不同时序裁剪片段作为正样本，不同视频的片段作为负样本，实现了无需人工标注的视频特征学习。此后，基于对比学习的视频理解研究开始快速迭代，从简单的时序裁剪样本构造，逐步发展到多模态对齐、跨域迁移、时序关系建模等多个方向，目前已经在动作识别、视频检索、视频captioning等多个下游任务上取得了接近甚至超过有监督学习的效果。

二、视频对比学习的核心样本构造