多模态数据融合与检索技术教学课件（共4章）第四章多模态数据检索.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 4.4多模态检索发展方向 解决方案： （3）抑制异构鸿沟问题 BERT（Bidirectional Encoder Representations from Transformer）技术 基于BERT技术可以利用无限量的未标注数据作预训练，然后再利用针对特定任务的少量有标注数据进行微调，进而实现对不同任务（如问题解答和语言推理）的优化。 预训练将是未来AI的非常重要的组成部分，但我们需要的不止这些。 Thank You！ * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 4.3.1基于深度学习的检索方法 与无监督深度学习检索方法相比，基于成对数据的深度学习检索方法利用更多相似对（或不相似对）来学习不同数据形式之间有意义的度量距离，这可以视为异构度量学习。 （2）基于成对数据的深度学习检索方法 异构数据度量学习的基本原理 两张硬币图与其对应的文本描述距离相近，而两个图像-文本对之间距离较远，通过距离度量可以将图像与其各自对应的文本拉近，将不同图像-文本对距离拉远。通过相似对与不相似对进行异质数据间的度量学习，从而提升检索精度。 4.3.1基于深度学习的检索方法 （2）基于成对数据的深度学习检索方法 潜在特征学习法 隐藏特征是社交媒体网络中数据的一种潜在表示形式，其学习方法包括：组成和分解特定结构的底层特征以及整合来自相互联系的社交媒体数据的集体效应。根据产生的隐藏特征空间可以执行更高级别的社交媒体任务，例如连接分析、跨模态检索等。 基于隐藏特征学习的社会媒体数据分析框架 4.3.1基于深度学习的检索方法 （2）基于成对数据的深度学习检索方法 模态特定深度结构方法（Modality-Specific Deep Structure，MSDS） 该模型使用两种类型的卷积神经网络将原始数据分别映射到图像和文本的隐藏空间表示。用于文本特征提取的卷积神经网络引入词嵌入学习，这种学习可有效提取有意义的文本特征以进行文本分类。 MSDS结构 4.3.1基于深度学习的检索方法 （3）基于排序的深度学习检索方法 深度视觉语义嵌入模型（Deep Visual-Semantic Embedding Model，DeViSE） 利用文本数据来学习标签之间的语义关系，并将图像显式映射到丰富的语义嵌入空间中。 1）构建核心视觉模型 2）构建跳词语言模型 3）进行相似度度量 传统视觉模型（左），跳词语言模型（右）以及深度视觉语义嵌入模型（中） 4.3.1基于深度学习的检索方法 （3）基于排序的深度学习检索方法 深度片段嵌入模型 该模型将视觉和语言数据嵌入到通用的多模态空间中。此模型在更高级的层上起作用，并将图像（对象）的片段和句子（类型化的依赖树关系）嵌入到公共空间中。 任务：给定句子查询检索相关图像，反之，给定查询图像检索相关句子。 计算片段以及图像-语句相似度过程 4.3.1基于深度学习的检索方法 （3）基于排序的深度学习检索方法 深度合成跨模态学习排序 利用现有的图像文本数据库来优化用于跨模态检索的排序函数，这种函数称为深度合成跨模态学习排序（Deep Compositional Cross-modal Learning to Rank， C2MLR）函数。C2MLR旨在对图像和文本的固有的局部和全局结构特性进行建模，以促进对多模态数据的公共空间的学习。 4.3.1基于深度学习的检索方法 （4）有监督的深度学习检索方法 正则化深度神经网络（Regularized Deep Neural Network，RE-DNN） 该网络模型用于跨模态的语义映射 设计并实现了一个5层神经网络来学习该模型，以捕获不同输入之间的高度非线性关系，用于将视觉和文本特征映射到公共语义空间中，从而可以测量不同模态之间的相似性。 4.3.1基于深度学习的检索方法 （4）有监督的深度学习检索方法 深度语义匹配方法（Deep Semantic Matching，deep-SM） 学习了两个独立的深度网络，以将图像和文本映射到具有更高抽象层的公共语义空间，因此可以根据它们共享的真实标签来建立两个模态之间的相关性。 4.3.1基于深度学习的检索方法 （4）有监督的深度学习检索方法 跨模态卷积网络正则化法 在模态显著不同（例如，文本和自然图像）并具有类别监督时学习跨模态表示。 作者提出了一个新的数据集CMPlaces来训练和评估跨模态场景识别模型。它涵盖了五种不同的模态：真实图像，剪切画，草图，空间文本图像和文本描述