基于多模态多粒度网络的跨媒体检索研究.pdfVIP

摘 要 摘 要 随着多媒体电子设备的应用和互联网的快速发展，大量用户使用社交媒体平台发 布多媒体数据，如短视频、文字、图像等。从海量多媒体数据中准确检索信息有着巨 大的应用需求，使得跨媒体检索得到了学术界的广泛关注并开展了深入研究。跨媒体 检索使用一种媒体类型的查询数据，返回语义相似但媒体类型不同的检索结果。由于 不同媒体类型的特征编码方式不同，无法直接进行相似度度量，因此“异构鸿沟”的 存在使跨媒体检索任务面临巨大的困难和挑战。 现有的跨媒体检索研究已经取得了较大进展，但是仍然未能很好的解决“异构鸿 沟”问题，未能深入研究多模态多粒度数据在解决该问题时发挥的积极作用。以不同 模态数据之间的语义相关性作为桥梁，提高语义相关性较高的异构模态数据之间的跨 模态相似度，可以有效连接不同模态的数据，并实现有效缩小“异构鸿沟”的目标。 多粒度数据蕴含的语义信息具有互补性，充分挖掘和融合不同粒度数据所蕴含的互补 语义信息，能够有效实现语义信息增强，对于缩小“异构鸿沟”具有积极意义。为使 多模态多粒度数据得到充分利用，本文提出了两种跨媒体检索网络： （1）现有工作大多聚焦于使用单一粒度的数据，且仅使用二值区分跨模态数据 间的相关性。针对这些问题，本文提出了基于多间隔量损失和粗细粒度特征融合的跨 媒体检索网络，该网络分为两部分：①网络Ⅰ，基于深度信念网络的粗细粒度特征融 合网络；②网络Ⅱ，基于多间隔量三元组损失函数的多模态数据融合网络。我们创新 地提出了多间隔量三元组损失函数，根据间隔量集合中的间隔量，将属于不同模态、 不同语义类别的特征，以逐级递增的方式与锚点分离。对比实验和消融实验的结果表 明，融合粗、细粒度数据，并以多间隔的方式区分不相关数据，可以提高跨媒体检索 的性能。 （2 ）现有多数工作没有充分考虑前景目标和背景信息的互补关系，尽管有面向 粗、细粒度数据融合的跨媒体检索，但是缺乏对两个以上粒度数据融合的研究。为此， 本文提出了一种结合目标检测和多粒度数据对齐的跨媒体检索网络，该网络分为两部 分：①目标检测子网络，以及②多粒度子网络。首先，我们使用目标检测技术提取前 景目标，创新性地构建目标检测子网络；其次，将多粒度进一步分为多层次细粒度和 粗粒度，我们同时对图像、文本使用滑动窗口策略划分不同层次的细粒度，构建多层 次细粒度子网络和粗粒度子网络；最终，将目标检测子网络、多粒度子网络的相似度 i 摘 要 矩阵进行线性融合，探究前景目标和多层次背景间的互补关系对跨媒体检索的影响。 对比实验结果表明该网络有效提升了跨媒体检索的性能，消融实验证明了每一个子网 络都对提升检索性能产生积极作用，也证实了利用滑动窗口策略进行图像、文本数据 多粒度划分的有效性。 本文研究了基于多模态多粒度网络的跨媒体检索，通过设计多间隔三元组损失函 数约束多模态数据间的关联关系，划分多个数据粒度，并探究了图像前景目标和多层 次背景的互补性。综上所述，充分利用语义相关性进行多模态数据关系建模，挖掘并 融合多粒度数据间的互补语义信息，对于缩小“异构鸿沟”进而提升跨媒体检索性能 具有十分积极的意义和作用。 关键词：跨媒体检索；多间隔量损失函数；多模态数据；多粒度数据；注意力机制 ii 目 录 目 录 摘 要 Abstract 第 1 章 绪论 1 1.1 研究背景与意义 1 1.2 本文主要研究内容及创新点 3 1.3 本文组织结构 5 第 2 章 国内外研究现状 7 2.1 基于公共子空间学习的方法 7 2.1.1 基于映射矩阵学习的方法 7 2.1.2 基于深度学习的方法 8 2.2 基于生成模型的方法