多模态大模型视觉语言对齐技术研究进展.docxVIP

多模态大模型视觉语言对齐技术研究进展

目录

多模态大模型视觉语言对齐技术研究概述．．．．．．．．．．．．．．．．．．．．2

多模态数据采集与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1多模态数据集介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2数据清洗与标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3数据增强与扩充策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

视觉特征提取与分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1基于卷积神经网络的特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2图像语义分割技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.3视觉特征融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

语言理解与处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.1语义分析及理解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.2自然语言处理方法．．．．．．．．．．．．．．．