基于分类技术的Hits算法改进.pdfVIP

基于分类技术的Hits 算法改进 陈洁惠 河海大学计算机及信息工程学院，南京（210024 ） E-mail ：katecometoyou@126.com 摘 要：本文介绍了一种基于分类技术的对网页链接结构分析经典算法 Hits 的改进，分析 了分类技术的原理并设计了与搜索引擎预处理结合以及与Hits 结合的实现模型。经过这种 改进，能够通过根据类别相似度赋予不同链接不同重要性的方式，更为贴合的模拟用户搜索 时按类别检索信息的习惯。 关键词：分类技术；搜索引擎；链接结构；Hits 0. 引言 当互联网成为一个包容巨大的信息交换平台，搜索引擎成为这种交换的一种有效便捷的 工具。如何使用一种好的排名算法就尤为关键，它使与查询词最相关的记录排在返回结果的 最前面，从用户角度来看，总是能够获得有效的信息。 搜索引擎排名算法有Page Rank[1]、Hits[2] 、Hilltop[3]等。这些算法是基于网页的链接 结构分析，在传统的Page Rank算法中, Page Rank得分表示的是用户浏览某篇网页的概率。 而Hits算法得分是基于网页的权威性和中心性。这些算法都是基于用户浏览网页的过程是绝 对随机，而忽略了网页在内容上得相似性对于链接指向的影响，从而不能充分体现该网页在 不同用户之间重要程度的差异。 1. 搜索引擎排序算法研究 1.1 基础Page rank、Hits 算法及改进 Page Rank技术基于整个Web 的链接结构来计算各网页的重要性，它认为用户能够通过 的网页之间的超链接访问到整个网络。但是，Web 图通常并不是强连通的，对此，Page Rank 采取了随机漫游的处理方式：在概率为p 的情况，浏览者可能随机的跳到Web 图中的另一 个节点；这相当在没有链接的两个页面之间添加了一个链接。 Hits 在模型上对Web 图进行了进一步的细分：对于一个特定的查询q，首先是一个与用 户提供的关键字紧紧相连的基本集V q ，所有基本集指向的页面构成了一个扩展集E q ；则 与q 相关的图为G q = (V q , E q ) 。此外Kleinberg 还发现在Web 环境下通常存在两种典型 的网页，一种称之为权威网页（authorities ），它通常包含对于用户来说最重要的原创信息； 一种称之为中心性网页（hubs ），它虽然不包含对于用户来说直接的重要信息，但是它包含 了一些指向权威网页的链接，因此对于用户来说也很有帮助。 针对经典算法的不足之处有很多改进算法。 比较著名的有Bharat Henzinger提出的解决两站之间互相偏袒的方法[4]：把一个站点看 作是Web 图中计算权威值的最小单位，而不是其中的单个网页。当一个站点中有K个链接指 向同一个目标页面时，每个网页的权威值是1/K。 Kleinberg在Hits算法中本身也有消除局外者的方法：在得到基本集后，对基本集的内容 做一次特征计算，将扩展网页与网页的特征值与之比对，如果相差甚远就丢弃该网页。 而著名搜索引擎Google，在对于基于Page Rank算法的一次大规模调中，使用Hilltop算 法。该算法与原算法相比，只计算具有相同主题的相关文档链接，因此能够大大提高系统的 -1- 计算效率。 1.2 分类技术与基于链接结构的算法结合 无论是Page Rank算法还是Hits算法，它们客观的描述了网页之间的本质特征，但是很少 考虑到用户浏览习惯时的主题相关性。分类技术可以模拟用户主体相关的习惯，从而提高这 种基于链接结构算法。它克服了用户访问网页绝对随机的假设带来的不可靠性，将网页之间 的指向关系