数据挖掘以及搜引擎经典pptchap8.pptVIP

* * * * * * * * * * * * * * * * * * * * * Page Rank 2007-04-18 相关排序与系统质量评估 结果排序是搜索引擎技术最重要的一个方面 传统IR方法的成功有两个重要的内在假设: 1:被索引的信息本身有很高的质量，至少在信息的组织和内容上有着比较高的质量 2：检索信息的用户有一定的相关技能和知识 然而，这些假设在Web上都已不再成立： 1：Web上网页的质量参差不齐，大量的网页组织性，结构性比较差 2：大部分检索用户是没有任何经验的。 Page Rank 历史 Sergey Brin和Lawrence Page在1998年提出了PageRank算法，同年J. Kleinberg提出了HITS算法 Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd, The PageRank Citation Ranking: Bringing Order to the Web, 1998, /~backrub/pageranksub.ps 为了更高效地计算 PageRank,以下是改良以后的一篇论文。Taher H. Haveliwala, ‘Efficient Computation of PageRank’, Stanford Technical Report, 1999, :8090/pub/1999-31 PageRank(TM) 是美国 Google 公司的登记注册商标。 PageRank算法1 其中，PR(A)表示页面A的级别，页面Ti链向页面A， C(Ti) 是页面Ti 链出的链接数量 d取值在0到1之间，d也称为阻尼系数，由于用户不可能无限的单击下去，常常因劳累而随机跳入另一个页面 1-d则是页面本身所具有的网页级别。 PageRank算法2 PR(A) = (1-d) / N + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)) 其中N是互联网上所有网页的数量 PageRank 的核心思想 PageRank 是基于「从许多优质的网页链接过来的网页，必定还是优质网页」的回归关系，来判定所有网页的重要性。 反向链接数 (单纯的意义上的受欢迎度指标) 反向链接是否来自推荐度高的页面 (有根据的受欢迎指标) 反向链接源页面的链接数 (被选中的几率指标) 因此，如果从类似于 Yahoo! 那样的 PageRank 非常高的站点被链接的话，仅此网页的 PageRank 也会一下子上升；相反地，无论有多少反向链接数，如果全都是从那些没有多大意义的页面链接过来的话，PageRank 也不会轻易上升。 PageRank算法 Google采用了一种近似的迭代方法计算网页级别，即先给每个网页赋予一个初值，然后利用上面的公式，循环进行有限次运算得到近似的网页级别 Sergey Brin and Lawrence Page的论文显示，实际进行大约100次迭代才能得到整个网络的网页级别。中等规模的网站计算26‘000’000网页的PageRank值要花费几小时 Web行列阵的形式 Aij＝1 if (页面 i 链接页面 j ） otherwise 0 AT : A 的转置。 = C(Ti) S (i,j) = A’(i.j) / C(Tj) Computing PageRank - initialize vector over web pages loop: - new ranks sum of normalized backlink ranks - compute normalizing factor - add escape term - control parameter while - stop when converged PageRank实例 链接源I D 链接目标 ID 1 2,3 ,4,5, 7 2 1 3 1,2 4 2,3,5 5 1,3,4,6 6 1,5 7 5