多模态学习视角下人工智能视觉与语言融合的逻辑范式.docxVIP

多模态学习视角下人工智能视觉与语言融合的逻辑范式

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

多模态学习基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1多模态数据的特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2多模态信息融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3多模态学习模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

视觉与语言融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.1视觉信息处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2语言信息处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.3视觉与语言融合策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

多模态学习在视觉与语言融合中的应用．．．．．．．．．．．．．．．．．．．．．28

4.1图像与文本的关联分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.2视频与描述的同步匹配．