信息查询扩展发展研究.docVIP

信息查询扩展发展研究 　　摘 要： 借助计算机和因特网，信息查询进入了快速发展的网络化联机检索阶段，搜索引擎的出现更是将信息查询推向了智能化发展时代。文章以信息查询发展为主线，分类总结了关键词查询扩展和概念语义查询扩展的发展过程，并对支撑概念语义查询扩展的概念语义结构和大规模语料库的发展情况做了详细的阐述，为概念语义查询扩展方向的研究做了一些基础工作。 　　关键词： 信息检索； 查询扩展； 概念语义； 语料库 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2015）11-08-04 　　Abstract： With the aid of the computer and the Internet， information query entered the rapid development of online retrieval stage， and the occurrences of search engines push the information inquiry into the era of intelligent development. This paper mainly summarizes the development process of keyword query expansion and concept semantic query expansion. The paper described the development of concept semantic structure and large-scale corpus which supported concept semantic query expansion in detail. It has done some basic work for the research of semantic query expansion direction. 　　Key words： information retrieval； query expansion； semantic concept； corpus 　　0 引言 　　信息查询是在储存信息的仓库中比较和选择符合查询者需求的信息标识。它隶属于图书情报学，自从有了人类就有了信息查找的历史。伴随着经济、文化、社会的快速发展，二十世纪五十年代信息查询从手工方式进入到计算机检索时代。经历了脱机、联机检索后，信息查询进入了快速发展的网络化联机检索阶段。因特网将全球的信息资源联接起来成为世界上最大的信息仓库，www搜索引擎将搜索范围从文本扩大到网页、图片、音视频等多种文件。信息检索技术大力促进了信息资源的相互利用和科技进步，它是一门交叉、复合型的学科，主要包括数据库管理（Database Management）、机器学习（Machine Learning）、人工智能（Artificial Intelligence）、自然语言处理（Natural Language Processing）等学科知识[1]。 　　1 查询扩展 　　人们在查询问题时所输入的查询关键词往往会有很多种不同的表达方式，很多时候同一个概念在不同情况下会表示不同的意思，或不同的概念在特定的情况下会表示相同的意思。由于这种表达方式的不同会导致与查询关键词相关的文档不能被检索出来，降低检索系统的查全率和查准率。基于这种原因，查询扩展技术应运而生。 　　查询扩展技术是利用多种学科知识将与初始查询相关的术语添加到原查询中组成新的意义更加全面准确的查询序列，降低自然语言的模糊性和查询歧义性，提高了检索结果的查全率和查准率[2]。 　　目前，按照扩展词的来源不同主要有基于全局分析、基于局部分析、基于关联规则、基于用户查询日志和基于概念语义的查询扩展技术。 　　1.1 关键词查询扩展 　　全局分析是较早出现的较实用的查询扩展方法。1971年，Spacrk Jones首次提出了词的聚类算法，试图通过对全局词语的共现来对词进行聚类，并用聚类对查询进行扩展，Rocchio利用向量空间模型，使用相关反馈算法并应用于SMART系统[3]，获得较好的检索效果。1976年，Spark Jones与Robertson提出了概率模型[3]，其关键是计算每个查询词在相关文档和不相文档中的分布状况。二十世纪八十年代末，S.T.Dumais、M.W.Berry等人基于VSM理论框架，提出了潜在语义索引（Latent Semantic Indexing，LSI）的信息检索模型，它是经典向量空间模型的一种改进，其关键是索引项-文档矩阵的奇异值分解计算[4]。 　　早在1965年Rocchio提出了相关反馈