基于跨模态自监督学习的视觉表征研究综述.docVIP

基于跨模态自监督学习的视觉表征研究综述

视觉表征学习是计算机视觉领域的核心基础任务，其目标是从图像或视频数据中提取具有泛化性的特征表示，为图像分类、目标检测、语义分割等下游任务提供支撑。传统监督学习方法依赖大规模标注数据，数据标注成本高、泛化能力受限，而自监督学习通过设计pretext任务从无标注数据中自动学习特征，为突破标注瓶颈提供了新路径。随着多模态数据的爆发式增长，跨模态自监督学习进一步将文本、音频、视频等多源信息引入视觉表征学习过程，利用模态间的语义关联构建更具语义一致性和鲁棒性的视觉特征，成为近年来领域研究的热点方向。

跨模态自监督学习的核心框架

跨模态自监督学习的核心思想是利用不同模态数据之间的天然对齐关系，通过自监督pretext任务挖掘模态间的语义关联，将不同模态的特征映射到同一语义空间，从而增强视觉表征的语义表达能力。典型的跨模态自监督学习框架主要包含数据层、特征编码器层、对齐损失层三个核心模块。

数据层的核心是构建跨模态配对数据集。早期研究多使用人工标注的图像-文本配对数据集，如Flickr30k、COCOCaptions等，这类数据集的配对质量高但规模有限。近年来随着互联网数据的大规模采集，无需人工标注的弱配对数据集成为主流，例如从社交媒体平台爬取的图文帖子、视频片段与对应字幕等，这类数据规模可达数百万甚至数十亿级别，为大规模预训练提供了数据基础