多模态学习及跨模态理解的技术进展.docxVIP

多模态学习及跨模态理解的技术进展

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1多模态学习概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2跨模态理解背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究意义与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

多模态学习基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1多模态数据表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2多模态特征融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3多模态学习模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

跨模态理解关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1跨模态表示学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2跨模态关系建模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16