一种基于空间向量模型的主题ＰａｇｅＲａｎｋ算法.docVIP

一种基于空间向量模型的主题ＰａｇｅＲａｎｋ算法 　　摘要：该文基于传统的PageRank链接分析原理，分析了PageRank在页面主题内容分析方面的不足之处，结合传统的基于内容的VSM文本分析模型，提出了一种基于向量空间模型的主题算法，并通过实验对改算法的性能进行分析。 　　关键词：PageRank；VSM；网页排序；搜索引擎 　　中图分类号：TP312文献标识码：A文章编号：1009-3044(2009)04-0883-03 　　A Vector Space Model Based Topic PageRank Algorithm 　　ZHANG Ran1, XIA Su-ping2 　　(Department of Statistic and Information Management, Xinjiang University of Finance Economics, Urumuqi 830011, China; 2.Department of Computer, Xinjiang Technical College of Building, Urumuqi 830054, China) 　　Abstract: The article base on the principle of traditional PageRank, discussed the shortage of the PageRank in topic rank. Combination of traditional content-based VSM model, a vector space model based topic PageRank algorithm is presented. At last, the conclusions were summarized and future research directions were discussed. 　　Key words: PageRank; VSM; Web page ranking; search engine 　　1 前言 　　目前在搜索引擎中常用的页面排序方法是PageRank[1]方法，利用web页面间的超链结构来计算每个页面的权重。但是PageRank算法会忽略某些页面的内容，一些与用户兴趣无关的知名网站也会被赋予过高的权重。致使用户很难从中快速筛选出真正需要的信息。如果搜索引擎只返回相关度高的重要网页，这样既可以很大程度地节省用户时间，又可以减轻网络流量。 　　文中提出了一种基于向量空间模型的主题PageRank页面排序算法，结合基于内容和基于链接分析权重各自的特点，构造出主题PageRank算法。 　　2 PageRank 　　2.1 PageRank理论模型 　　PageRank的基本思想来自传统文献计量学中的文献引文分析，即如果一个页面被多次引用，那么这个页面很可能是重要的；如果一个页面尽管没有被多次引用，但是却被一个重要的页面引用，那么这个页面很可能是重要的；一个页面的重要性被均分并传递到它所引用的页面。基于这种思想：设u是一个web页面，Fu是u引用的页面集合，Bu是引用u的页面集合，则网页u的重要性R（u）可定义为： 　　 ■(1) 　　其中，Nu表示u引用的页面个数，c为规范化因子。 　　2.2 修正的PageRank算法 　　公式(1)有一个假设前提：所有的页面链接形成一个强连通图。但是实际的网络超链接环境没有这么理想，会存在一些没有外出链接的独立页面或页面集合，这种页面称之为悬挂页面（dingle page）。因为这种页面没有外出链接，所以在迭代计算的时候页面的重要性时，它不会传出任何重要性，这将导致一个称之为等级泄露（rank sink）的重要问题。为了解决这个问题，必须引入一个等级源[2]（rank source）来补充每个页面的PageRank值，以使得PageRank值不完全依赖于网络链接。因为浏览者在网络上浏览网页的过程实际是一个随机的过程，浏览者很少会沿着一个链接向下一直走到底。在每一个页面，浏览者都有可能不再对本页面的链接感兴趣，从而随机选择一个新的页面开始新的浏览。所以修正后的PageRank定义为： 　　 ■ (2) 　　公式（2）中的等级源E一开始是为了修正页面间的等级泄露而设计的，后来Page和Brin又提出了E在调整页面的排列顺序方面的作用。它认为浏览者每一次在随机选择一个新的页面并开始新的浏览时，都会与个人的兴趣有关。于是可以根据不同浏览者的喜好，构造不同的等级源E，从而提出了PageRank在主题个性化方面的应用前景。 　　3 利用空间向量模型构造个性化的PageRank算法