基于跨模态对比学习的视觉语言模型研究综述.docVIP

基于跨模态对比学习的视觉语言模型研究综述

一、跨模态对比学习的核心原理与理论基础

跨模态对比学习的核心目标是通过对齐不同模态数据的表征空间，让语义相同的跨模态样本在特征空间中距离更近，语义无关的样本距离更远。其理论根源可以追溯到自监督学习中的对比学习框架，早期在单模态领域（如图像分类、文本表示）已经得到广泛验证，而跨模态场景下的关键创新在于解决异质数据的语义对齐难题。传统的跨模态建模往往依赖人工设计的模态交互规则，或者基于配对样本的回归损失优化，这类方法泛化能力弱，且对标注数据的需求量极大。对比学习范式引入后，研究人员通过构造正负样本对，让模型自动学习模态间的语义关联，极大降低了对标注数据的依赖。

跨模态对比学习的核心损失函数通常为双向对比损失。以图像-文本对为例，对于一个批次中的N个配对样本，每个图像会对应1个正样本（配对的文本）和N-1个负样本（其他文本），反之每个文本也会对应1个正样本（配对的图像）和N-1个负样本（其他图像）。损失函数会同时优化图像到文本和文本到图像两个方向的匹配概率，让正样本对的相似度远高于负样本对。在实际应用中，研究人员还会加入温度系数调节相似度分布的尖锐程度，采用动量编码器维护动态的负样本队列，或者引入难负样本挖掘策略提升模型的判别能力，这些优化共同构成了现代跨模态对比学习的基础框架。

二、视觉语言预训练模型的典型架构演进

视觉语言模型的架构发展大致可