基于Markov络及laplacian映射的快速相似性检索方法.docVIP

基于Markov网络及laplacian映射的快速相似性检索方法 文 辉１　王明文1　吴水秀１　万剑怡１ １(江西师范大学计算机信息工程学院 南昌 330022) 快速相似性检索技术对于各种信息检索应用都具有很大的意义，其中基于语义哈希的快速相似性检索即是一个合理有效的检索方式，其检索模型能够在保证语义相关的基础上将高维空间中大量相关的文档数据，映射在低维空间中。虽然近年来许多关于语义哈希的研究都表现了不错的实验结果，但是都没有考虑到利用文档集合自身的信息来加强文档间的相关信息。于是为了有效利用文档自身信息，提出了结合强化文档间邻接关系的马尔可夫迁移过程及使用保留局部信息的拉普拉斯映射方法的相似性检索方式。 文档检索　语义哈希　马尔可夫网络　拉普拉斯特征映射 中图分类号 TP3 文献标识码 A Fast similarity search based on Markov network and Laplacian Eigenmap Wen Hui1 Wang Mingwen1 Wu Shuixiu1 Wan Jianyi1 1(College of computer Information Engineering, Jiangxi Normal University, Nanchang, 330022，China) Fast similarity search is important to many Information Retrieval applications. A promising way to accelerate similarity search is semantic hashing which designs compact binary codes for a large number of documents so that semantically similar documents are mapped to similar codes within a short distance. Although some recently techniques about semantic hashing make a good result in experiments, they still not use the information from training set to enhance the relation between documents. In this paper, we introduce a new hashing method which use Markov network to enhance their semantic similarity and use Laplacian Eigenmap with local information to solve the semantic hashing problem. Similarity search Semantic hashing Markov network Laplacian Eigenmap  引　言 随着网络的飞速发展，大量文献资料的堆积，如何快速有效地获取自己需要的文档数据，已经成为了目前迫切需要解决的问题之一。于是相对于注重综合检索结果的普通相似性检索技术，提出了注重速度的快速相似性检索技术。快速相似性检索是针对检索大规模文本数据的效率问题而产生的技术，其牺牲了检索精度从而使得检索速度大幅度提高的特性在海量文本的相似性检索应用中展现了良好的价值[5,6,7]。但是其中对于分析文本结构的检索技术[10]与近重复文本检测的技术[8,9]在主题检索或语义相关文本检索的应用中却得不到理想的结果,于是许多研究开始尝试通过利用文档集合的语义关系来获得近似文档检索应用中更好的结果。 文献[11]提出了一种基于语义的相似性检索方法，其意图在保证原始空间向量相似性的基础上将高维空间向量映射至低维汉明空间，并使得新空间向量的汉明距离 (Hamming Distance)反映原始空间向量的相关度。其中，谱哈希[3]（Spectrual hashing） 图1 基于Markov网络及laplacian映射的相似性检索模型的设计架构 本文提出的基于Markov及laplacian映射的相似性检索方式(MLH)将检索过程分为离线和在线两个部分。离线部分利用Markov网络重构文档间的邻接关系，再通过laplacian映射方法获得二元索引函数，同时将原文档集合转换成二元索引集合。在线部分则利用哈希函数让查询文档哈希成二元查询向量，再以汉明距离为度量对二元索引集合进行检索。这样的两阶段模型