网站大量收购闲置独家精品文档,联系QQ:2885784924

基于多模态预训练模型的跨模态检索方法研究.pdf

基于多模态预训练模型的跨模态检索方法研究.pdf

  1. 1、本文档共62页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

目录

摘要I

AbstractII

第一章绪论1

1.1课题研究背景和意义1

1.1.1研究背景1

1.1.2研究意义2

1.2国内外研究现状3

1.2.1模态完备条件下的跨模态检索3

1.2.2模态缺失条件下的跨模态检索5

1.3本文的主要研究内容7

1.3.1基于多模态预训练模型的完备条件下的跨模态检索方法7

1.3.2基于典型概念驱动的模态缺失跨模态检索方法7

1.4本文的组织结构8

第二章基于多模态预训练模型的完备条件下的跨模态检索方法9

2.1概述9

2.2模型构建与求解10

2.2.1符号和问题定义10

2.2.2多模态对比学习11

2.2.3哈希对比学习12

2.2.4目标函数13

2.3实验与结果分析14

2.3.1实验数据集14

2.3.2实现细节15

2.3.3评估指标和基线15

2.3.4检索精度比较15

2.3.5消融实验23

2.3.6收敛性分析26

2.3.7参数敏感性分析26

2.3.8可视化27

2.4本章小结28

第三章基于典型概念驱动的模态缺失跨模态检索方法29

3.1概述29

3.2模型构建与求解31

3.2.1符号和问题定义31

3.2.2多模态融合Transformer32

3.2.3典型概念学习33

3.2.4模态映射网络34

3.2.5在线检索过程35

3.2.6优化目标和算法36

3.3实验与结果分析36

3.3.1实验数据集36

3.3.2实现细节38

3.3.3评估指标和基线39

3.3.4检索精度比较39

3.3.5消融实验44

3.3.6收敛性分析46

3.3.7参数敏感性分析47

3.4本章小结48

第四章总结与展望50

4.1全文总结50

4.2后续工作展望51

参考文献52

致谢57

摘要

跨模态检索使用一种模态的数据作为查询,在另一种模态中检索语义相关的数据。依

靠深度神经网络强大的语义表征能力,深度跨模态检索模型在跨模态检索任务上展现了优

越的检索性能。近几年,多模态预训练模型通过自然语言监督学习视觉表示,在多个多模

态任务中取得了显著的进展。然而,在跨模态检索方面的潜在影响尚未得到研究。另外,

绝大多数的深度跨模态检索方法仅适用于模态数据完备下的跨模态检索场景,他们对模态

数据的处理能力不足。

针对这些挑战,本文对基于多模态预训练模型的跨模态检索方法展开了研究,主要包

括两个工作:

(1)本文首次探讨了多模态预训练模型CLIP对跨模态哈希检索性能的影响,并提出

了一种简单但强大的无监督对比多模态融合哈希网络(UCMFH)作为基线。首先从C

文档评论(0)

论文资源 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档