web超链分析算法综述.docxVIP

WEB超链分析算法研究朱炜干-超李俊潘金贵 (南京大学计算机软件新技术国家重点实验室南京210093) (南京大学多媒体技术研究所南京210093) Research on Algorithms Analyzing Hyperlinks： A Survey ZHU Wei WANG Chao LI Jun Pan Jin-Gui (State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093) (Multimedia Technology Institute of Nanjing University, Nanjing 210093) Abstract: The World Wide Web serves as a huge, widely distributed, global information service center, and expanding in a rapid speed. It is import to find the information the user need precisely and rapidly. In recent years, researchers discovery that rich and import information is contained among hyperlinks, and develop a lot of algorithm using hyperlink to improve the quantity and relevance of the results which search engine returned? This paper presents a review and a comparison of such algorithms existing now. Problems of these algorithms and directions to further research will be discussed? Keyword: PagcRank, Authority, Hub, HITS, SALSA, Anchor 引言 万维网WWW (WorldWideWeb)是一个巨大的，分布全球的信息服务屮心，正在以 飞快的速度扩展。1998年WWW上拥有约3.5亿个文档I⑷，每天增加约1百力?的文档⑹， 不到9个月的时间文档总数就会翻一番网。WEB上的文档和传统的文档比较，冇很多新的 特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的 挑战。 传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档， 也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键 字出现的频率來提高占身在搜索引擎屮的更要性，破坏搜索引擎结果的客观性和准确性。另 外,有些重耍的网贝并不包含查询项。搜索引擎的分类冃录也不可能把所有的分类考虑全面, 并且目录大多靠人工维护，主观性强，费用高，更新速度慢⑵。 最近几年，许多研究者发现，WWW上超链结构是个非常丰富利重要的资源，如果能 够充分利用的话，可以极人的提高检索结果的质量。基于这种超链分析的思想，Sergey Brin 和Lawrence Page在1998年提出了 PageRank算法⑴，同年J. Klcinbcrg提出了 HITS算法⑸, 其它一些学者也相继提出了另外的链接分析算法，如SALSA, PHITS, Bayesian等算法。 这些算法有的已经在实际的系统中实现和使用，并且収得了良好的效果。 文章的第2部分按照时间顺序详细剖析了各种链接分析算法，对不同的算法进行了比 较。第3部分对这些算法做了评价和总结，指岀了存在的问题和改进方向。 WEB超链分析算法 1 Google 和 PageRank 算法 搜索引擎Google最初是斯坦福人学的IW?丄?研究牛Sergey Brin和Lawrence Page实现的 一个原型系统⑵，现在已经发展成为WWW±最好的搜索引擎之一。Google的体系结构类 似于传统的搜索引擎，它与传统的搜索引擎最人的不同处在于对网页进行了基于权威值的排 序处理，使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的 PageRank值，从而决定网页在结果集中的出现位置，PageRank值越高的网师 在结果中出 现的位迸越前。 1? IPageRank 算法 PageRank算法基于下面2个前提： 前捉1： 一个网页被多次引用，则它可能是很重要的；一个网