基于概率图模型多模态数据联合检索算法.docVIP

基于概率图模型多模态数据联合检索算法 　　摘 要： 为了提高多模态检索的性能，提出一种多模态文档语义生成模型以及基于该模型的多模态数据联合检索算法。多模态文档语义生成模型认为文档中每个模态数据都是由相同的语义概念生成的，并且文档是多个模态数据的联合分布。为了简化模型的求解过程，假设各个模态数据之间的生成过程是相互独立的，于是可以对每个模态的条件概率进行单独计算。在多模态联合检索中，通过计算查询数据和待检索文档的联合概率来计算它们之间的相似度。实验结果表明，提出的方法与两步检索、语义索引和排序学习三种多模态检索方法相比具有更好的检索性能。此外，该方法可以扩展应用到具有三个及以上模态数据的文档联合检索中 关键词： 多模态检索； 概率图模型； 极大似然估计； 产生式模型 中图分类号： TN919?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）05?0033?05 Abstract： In order to improve the performance of the multi?modal retrieval， a semantic generation model of the multi?modal document and a joint retrieval algorithm for multi?modal data based on this model are proposed. The semantic generation model of the multi?modal document deems that the data of each modal in the document is generated by the same semantic concept， and the documents complies with the joint distribution of data of multiple modals. In order to simplify the solving process of model， the conditional probability of each modal can be calculated independently if assuming that the generation processes among all the modals′ data are mutual independent. During the multi?modal joint retrieval， the joint probability of the query data and the document under retrieval are calculated to obtain the similarity between them. The experimental results show that this algorithm has better retrieval performance than the two?step retrieval algorithm， semantic indexing algorithm and ranking learning algorithm. In addition， the algorithm can be applied to the document joint retrieval of data with three and more modals. Keywords： multi?modal retrieval； probabilistic graph model； maximum likelihood estimation； generative model 0 引 言 随着互联网数据的爆炸式增长，网络上聚集了海量的文本、图片、音频和视频数据，数据的多模态性和海量性给信息检索提出了巨大的挑战[1]。传统的信息检索方法，如文本检索和图片检索，往往在某一模态数据上进行相似性匹配并返回相似度高的相同模态的数据。针对本文数据，经典的检索方法是基于关键字查询的倒排索引[2?3]。针对图片数据，单模态图片检索往往将图片表示为SIFT[4]，SURF[5]或者BRISK[6]等特征，然后进行图片的特征匹配 在网络中，每一篇文档往往包含多种模态的数据，如文本和图片，有时也有音频和视频，传统的单模态信息检索方法往往针对某一模态的数据进行检索，其检索结果很难达到用户的预期期望。在应用多种模态数据进行信息检索时，存在着跨模态检索和多模态检索两种方法[7