原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
多模态学习
主要内容
2.1多模态数据概述
2.2多模态学习
2.3多模态数据融合与检索技术
2.1多模态数据概述
2.1.1异构多模态数据
2.1.2异源多模态数据
2.1.1异构多模态数据
■异构多模态数据：由不同的媒介产生的模态数据，包括文字、图像、
照片、声音、动画和影片。
□文本
□图像中文名狗
外文名dog
□动画别名犬
图像拉丁学名Canislupusfamiliaris
□声音界动物界
□视频
文字
媒介
视频
音频
▶01:04
2.1多模态数据概述
2.1.1异构多模态数据
2.1.2异源多模态数据
2.1.2异源多模态数据
■异源多模态数据：来自不同传感器的同一类媒介产生的数据。
□红外图像
□合成孔径雷达(SAR)图像
□超声诊断图像(B超)
□计算机断层扫描图像(CT)
红外图像
CT图像
传感器
SAR图像
B超图像
主要内容
2.1多模态数据概述
2.2多模态学习
2.3多模态数据融合与检索技术
2.2多模态学习
2.2.1多模态学习分类概述
2.2.2多模态学习研究进展
2.2.3多模态学习实际应用
2.2.4多模态学习研究展望
2.2.1多模态学习分类概述
■多模态学习：多模态数据的挖掘分析过程可被理解为“多模态学
习”,目的是建立一个能处理和关联多种模态信息的模型，有效的
“多模态学习”可获得更丰富的语义信息，进而提升待表示事物的整
体性能。
□基于模型的多模态学习：表示学习与协同学习
□基于任务的多模态学习：转化任务，融合任务，检索任务。
1970-2010
传统多模态学习前沿多模态学习
2.2.1多模态学习分类概述
■多模态表示学习(MultimodalRepresentation):通过利用多模态
之间的互补性和关联性，剔除模态间的冗余性，从而为每个模态提取
最具有判别性的特征表示，以帮助它们学习到更好的特征表示，并最
终表示和汇总成多模式数据。包括两大研究方向：联合表示学习与协
同表示学习。
联合表示协同表示
表示表示1表示2
模态1模态2模态1模态2
2.2.1多模态学习分类概述
■联合表示学习(JointRepresentations):将多个单模态投影到一
个共享的子空间。以便能够融合多个模态的特征，形成一个多模态向
量空间。
输入图像生成文本输入文本生成图像
夜晚，海上，雪景，自然，
灯塔，红色，黄昏，树，
光亮白色
文档评论（0）