[理学]lecture21-linkanalysis 信息检索导论 王斌 PPT 课件 第21章.pptVIP

第21讲 链接分析 Link Analysis 2011/12/01 提纲 上一讲回顾 锚文本 引用分析 PageRank HITS: Hub节点Authority节点 上一讲回顾 锚文本 引用分析 PageRank HITS: Hub节点Authority节点 提纲 4 基本的采集过程 初始化采集URL种子队列； 重复如下过程： 从队列中取出URL 下载并分析网页 从网页中抽取更多的URL 将这些URL放到队列中 这里有个“Web的连通性很好”的基本假设 4 5 基本的采集架构 5 6 分布式采集器 6 7 Mercator采集器(待采集URL缓冲池) 7 8 本讲内容 锚文本: Web上的链接相关信息为什么对IR有用? HITS : 另一个著名的基于链接分析的排序算法 PageRank : 一个著名的基于链接分析的排序算法 引用分析(Citation analysis): PageRank及其他基于链接排序方法的数学基础 上一讲回顾 锚文本 引用分析 PageRank HITS: Hub节点Authority节点 提纲 10 Web可以看成一个有向图 假设1: 超链接代表了某种质量认可信号 超链 d1 → d2 表示 d1的作者认可 d2 的质量和相关性 假设 2: 锚文本描述了文档 d2 的内容 这里的锚文本定义比较宽泛，包括链接周围的文本 例子： “You can find cheap cars ˂a href =http://…˃here ˂/a ˃. ” 锚文本: “You can find cheap here” 11 [d2中文本] vs. [d2中文本] + [锚文本 → d2] 后者往往效果好于前者 例子: 查询 IBM IBM 的版权页匹配上 很多作弊网页匹配上 IBM的wikipedia页面 可能与IBM 的主页并不匹配! … 也许 IBM 的主页上大部分都是图 而按照 [锚文本 → d2] 来搜索效果会比较好 这种表示下，出现IBM最多的是其主页 12 指向的很多锚文本中包含IBM 13 对锚文本构建索引 因此，锚文本往往比网页本身更能揭示网页的内容 在计算过程中，锚文本应该被赋予比文档中文本更高的权重 14 课堂练习：PageRank背后的假设 假设1: Web上的链接是网页质量的标志—链出网页的作者认为链向的网页具有很高的质量 假设2： 锚文本能够描述链向网页的内容 通常情况下假设1是否成立？ 通常情况下假设2是否成立？ 15 Google炸弹(Google bomb) Google炸弹是指由于人为恶意构造锚文本而导致的结果很差的搜索 2007年1月Google引入了一个新的权重计算公式来修正了很多Google炸弹的结果。 但是还有不少没有解决: [dangerous cult] on Google, Bing, Yahoo 一些厌恶 Church of Scientology的任何联合构建链接 已解决的Google炸弹: [dumb motherf…], [who is a failure?], [evil empire] 上一讲回顾 锚文本 引用分析 PageRank HITS: Hub节点Authority节点 提纲 17 PageRank的起源: 引用分析(1) 引用分析：科技文献中的引用分析 一个引用的例子: “Miller (2001) has shown that physical activity alters the metabolism of estrogens.” 可以把“Miller (2001)” 看成是两片学术文献之间的超链接 在科技文献领域使用这些“超链接”的一个应用: 根据他人引用的重合率来度量两篇文献的相似度 这称为共引相似度 在Web上也存在共引相似度：Google中提供的 “find pages like this” 或者 “Similar” 功能 18 PageRank起源: 引用分析(2) 另一个应用: 引用频率可以用度量一篇文档的影响度 最简单的度量指标：每篇文档都看成一个投票单位，引用可以看成是投票，然后计算一篇文档被投票的票数。当然这种方法不太精确。 在Web上： 引用频率=入链数 入链数目大并不一定意味着高质量... ... 主要原因是因为存在大量作弊链接… 更好的度量方法： 对不同网页来的引用频率进行加权 一篇文档的投票权重来自于它本身的引用因子 会不会出现循环计算？答案是否定的，实际上可以采用良好的形式化定义 19 PageRank的起源: 引用分析(3) 更好的度量方法: 加权的引用频率 这就是PageRank的基本思路 Page