多模态学习与跨模态理解的关键技术综述.docxVIP

多模态学习与跨模态理解的关键技术综述

目录

内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1多模态学习概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2跨模态理解的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3文献综述目的与结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

多模态学习基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1多模态数据表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.2多模态特征提取方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3多模态模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

跨模态理解方法与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1跨模态对应学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2跨模态交互与融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.