基于跨模态互信息的视觉语言模型预训练中的对齐损失函数设计研究综述.docVIP

基于跨模态互信息的视觉语言模型预训练中的对齐损失函数设计研究综述

跨模态互信息作为衡量视觉与语言模态间关联强度的核心指标，其与损失函数的融合是当前视觉语言预训练（Vision-LanguagePre-training,VLP）模型实现模态对齐的核心路径。对齐损失函数的设计直接决定了模型能否从大规模图文对数据中学习到统一的语义表示空间，进而支撑下游图文检索、视觉问答、图像字幕生成等任务的性能提升。近年来，相关研究围绕互信息估计的精度、损失函数的鲁棒性、低资源场景的适配性等核心问题展开了多维度探索，形成了从基础互信息下界估计到多粒度语义对齐、从全局损失优化到局部细粒度约束的完整技术演进脉络。

互信息下界估计与基础对齐损失框架的构建

互信息的直接计算因模态特征的高维性和联合分布的未知性难以实现，因此早期研究主要基于互信息下界估计方法构建基础对齐损失。最为经典的是基于噪声对比估计（NoiseContrastiveEstimation,NCE）的对比损失，其核心思想是最大化正样本图文对的互信息，同时最小化负样本对的互信息。在CLIP、ALIGN等大规模预训练模型中，采用的双向对比损失（BidirectionalContrastiveLoss）本质上是对图文互信息的双重下界约束：图像到文本方向的NCE损失约束每个图像特征与匹配的文本特征相似度高于所有负样本文本，文本到图像方向的N