基于深度学习概念语义空间查询扩展研究.docVIP

基于深度学习概念语义空间查询扩展研究 　　摘 要：为解决信息检索应用实践中存在用户表?_查询请求不够准确、文档与查询词不匹配以及查询优化等影响检索性能的问题，提出一种基于深度学习的概念语义空间查询扩展方法。利用深度学习算法为各个原查询词构建概念树，并使用WordNet将这些概念树向上溯源，建立完整的概念语义空间。以共现信息为特征参数对扩展源进行筛选，同时引入平均互信息及观察窗口得到相关度算法，通过共现信息衡量单词之间的关联度。在TREC数据集上的实验表明：与传统伪相关反馈算法的扩展质量相比，该扩展算法有所改进。 　　关键词：查询扩展；深度学习；语义空间；平均互信息；相关度算法 　　DOI：10.11907/rjdk.172669 　　中图分类号：TP301 　　Abstract：A method of query expansion based on conceptual semantic space with deep learning is proposed to solve the problems which impact query function， such as users inaccurate query， mismatch between user query and representation of index document and query optimization. We construct conceptual tree for every query word with deep learning and trace the tree upwards in WordNet dictionary to establish complete semantic space. Co-occurrence information is employed as a parameter to filter extended source ； average mutual information and observation window are introduced to get relevance algorithm so that correlation degree between every two words is measured by co-occurrence information. The test on TREC data set shows that compared with traditional pseudo-correlation feedback algorithm， the proposed algorithm has better performance. 　　Key Words：query expansion； deep learning； semantic space； average mutual information； relevance algorithm 　　0 引言 　　随着因特网的飞速发展，社会信息化规模日益壮大，人们对信息获取的要求更加严格，快速即时处理海量信息、提高信息检索的准确率刻不容缓。互联网用户习惯于通过检索关键词查询信息，因此当前主流的商用搜索引擎为给用户提供一个简便的查询平台，仍然采用基于关键词查找方式，但由于用户表达查询请求不够精确，会返回大量与查询意愿无关的结果[1]，因此引入查询扩展概念。 　　查询扩展是指利用统计学、语言学等方法，找出与原查询词的相关扩展词并加入原查询组成新的查询，使其更清楚地表达用户的查询意愿，以改善信息检索性能。对原查询进行扩展可以弥补用户查询信息不足的缺陷，解决信息检索领域“词不匹配”问题。 　　如何确定扩展词是查询扩展的关键。由于不同系统实现方法不同，对其进行查询扩展就需要采取不同的方法，通常包含以下几种：通过人工进行的查询扩展，通过系统进行辅助的半自动查询扩展和全自动查询扩展。而按照扩展词来源不同，扩展方法又分为基于全局分析的、基于局部分析的、基于关联规则的以及基于用户查询日志的查询方法。 　　1 研究现状 　　1960年，Marson和Kuhns[2]根据词与词的相关性提出概率模型扩展用户查询，这是最早的概率模型。1965年，Salton教授和学生创立了向量空间模型并开发基于向量空间模型的SMART信息检索系统。同年Rocchio[3]运用向量空间查询扩展和词语重新加权思想，在Salton的SMART系统中引入了一种相关反馈算法。1968年，Rocchio和Salton提出了查询扩展方法。1977年，Attar和Fraenkel[4]提出了采用聚类扩展查询的基本概念和观点