一种有效专题信息集中和检索策略.docVIP

一种有效的专题信息集中和检索策略 　　摘 要:Internet上专题资源网页汇聚和检索是垂直搜索引擎中的核心问题,HITS算法是早期解决这个问题的经典算法,很多文献对它进行了改进,但无论索引的主题相关率还是引擎的查准率都有提高的余地。提出一种基于锚文本和标题信息过滤并结合网页内容相关度判断的HITS专题检索策略,利用专题训练集判断主题相关度,很好地解决了只依靠查询字符串判断的弊端。实验表明,此策略能很好地提高专题信息汇聚精确度和检索的准确率,并且减少了非相关URL的下载量。 　　关键词:HITS算法; 锚文本; 网页标题; 专题相关度; 向量模型; 专题训练集 　　中图分类号:TP301.6文献标志码:A 　　文章编号:1001-3695(2010)06-2106-03 　　doi:10.3969/j.issn.1001-3695.2010.06.032 　　 　　Effective strategy of topic distillation and retrieval 　　 　　WANG Yu??xina, LIU Hai??fenga, GUO Heb, CHEN Xinb 　　 　　 (a.School of Electronic Information Engineering, b.School of Software, Dalian University of Technology, Dalian Liaoning 116023, China) 　　 　　Abstract:The strategy of topic distillation and retrieval on Internet is the key work in research of vertical search engine. HITS algorithm is a classical method for this problem at an earlier time, and some improvements are made by other researchers afterwards. Nevertheless, no matter the theme relation rate or accuracy grade of engine still have room to be improved. This paper proposed a strategy of topic distillation and retrieval by filtering Web pages based on anchor texts and titles combining relation grade of Web pages. Using the topic training collection to judge relation grade could overcome the shortcomings of depending on inquiring strings. The experiment results prove that this strategy can improve the accuracy of topic distillation and retrieval, and reduce the downloaded information of unrelated URLs. 　　Key words:HITS algorithm; anchor text; Web page title; relation grade of topic; vector model; topic training collection 　　 　　0 引言 　　随着Internet资源的高速增长,数据量已经远远超出搜索引擎能覆盖的范围,截至2008年全球因特网资源网页已数以亿计,即使是最著名的Google也只能覆盖全部信息的30%~40%。于是人们越来越难以从通用搜索引擎获取自己需要的某一专题领域的信息,在返回的数千个网页中找到自己需要的那一方面的信息非常困难[1,2]。专题搜索策略的目的就是实现人们对于某一专题领域相关信息的准确定位。 　　 　　垂直搜索引擎是近几年来展开研究的一个检索模型,它的核心就是专题内容的集中和检索,这种策略又称为专题网络蜘蛛。网络蜘蛛是抓取下载网页连接的程序模型,专题网络蜘蛛则对网页进行预测,赋予不同的优先值,按照与专题领域相关的优先级策略进行抓取下载,以便集中处理相关领域的网页。一个好的专题信息检索策略,既能让最终的检索列表按照网页与主题相关度高低排列等待检索,又能