多模态学习框架下跨模态信息理解与表征的协同机制研究.docxVIP

多模态学习框架下跨模态信息理解与表征的协同机制研究

目录

文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

多模态学习框架概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1多模态学习基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2多模态学习框架设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3多模态学习框架的分类与比较．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

跨模态信息理解机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1跨模态信息融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2跨模态信息对齐策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.3跨模态信息特征提取方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

跨模态信息表征机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.1特征表示学习方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.2模型表示学习方法．