异构模态语义对齐与融合推理关键技术研究.docxVIP

异构模态语义对齐与融合推理关键技术研究

目录

一、内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究目标与内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.4技术路线与论文结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

二、异构模态数据表示与特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1文本模态表示方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2图像模态表示方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3音频模态表示方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.4多模态融合特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

三、异构模态语义对齐技术研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1