基于跨模态知识蒸馏的模型压缩研究综述.docVIP

基于跨模态知识蒸馏的模型压缩研究综述

1跨模态知识蒸馏的核心原理与基础框架

跨模态知识蒸馏的核心逻辑是将多模态预训练大模型（教师模型）学习到的跨模态关联知识，迁移到单模态或轻量多模态小模型（学生模型）中，在压缩模型参数量的同时保留跨模态推理能力。与传统单模态知识蒸馏仅迁移同模态特征分布不同，跨模态知识蒸馏的核心突破在于对模态间关联知识的提取与迁移，这类知识包含不同模态数据在语义空间的对齐关系、模态互补信息的融合模式等，是多模态大模型性能优于单模态模型的核心来源。

经典的跨模态知识蒸馏框架包含三个核心组件：教师模型、学生模型、蒸馏损失函数。教师模型通常是参数量达数十亿级的预训练多模态大模型，如CLIP、ALBEF、Flamingo等，这类模型在大规模跨模态数据集上完成预训练，已经学习到稳定的图文对齐、音视频关联等跨模态知识。学生模型则根据部署场景需求设计，既可以是仅支持单模态推理的小模型（如移动端图像分类模型、端侧语音识别模型），也可以是参数量仅为教师模型1/10到1/100的轻量多模态模型。蒸馏损失函数的设计是决定知识迁移效果的关键，目前主流的损失设计包含三个层次：一是特征层对齐损失，强制学生模型的单模态特征输出与教师模型对应模态的特征分布保持一致，常用KL散度、均方误差作为度量；二是跨模态对齐损失，将教师模型中学到的图文匹配分数、跨模态注意力权重等关联知识迁移给学生，保证学生模