第六章web检索技术精品.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 链接分析技术分类 基于随机冲浪模型，如：PageRank算法 基于Hub和Authority相互加强模型，如：HITS算法 随机冲浪模型 用户选择的起始网页是随机的； 用户会从起始网页含有的超链接中随机选择一个页面继续浏览； 当用户沿着超链接前进了一定数量的网页后，可能会对主题厌倦，这时用户会重新随机选择一个网页进行浏览； 用户会重复以上的过程若干次。 PageRank算法 Larry Page和 Sergey Brin于1998年提出PageRank算法； 基于以下两个基本假设： 数量假设：如果一个页面节点接收到的其他网页指向的入链数量越多，那么这个页面越重要； 质量假设：越是质量高的页面指向页面A，则页面A越重要。 某个页面可能被访问的次数就被定义为网页的权值，即PageRank值； PageRank值是网页的重要性评价，和用户输入的查询没有任何关系，即算法是主题无关的。 PageRank 基本思想 如果网页T存在一个指向网页A的连接，则表明T的所有者认为A比较重要，从而把T的一部分重要性得分赋予A。这个重要性得分值为：PR(T)/L(T)，其中PR(T) 为T的PageRank值，L(T)为T的出链数 网页A的PageRank值为一系列类似于T的页面重要性得分值的累加。 PageRank计算过程 在初始阶段：每个页面设置相同的PageRank值，通过若干轮的计算，会得到每个页面所获得的最终PageRank值。 在一轮中更新页面PageRank得分的计算方法：每个页面将其当前的PageRank值平均分配到本页面包含的出链上，每个链接即获得了相应的权值。而每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。当每个页面都获得了更新后的PageRank值，就完成了一轮PageRank计算。 PageRank 计算过程 PageRank算法举例 假设一个由只有4个页面组成的集合：A，B，C和D。如果所有页面都链向A，那么A的PR值将是B，C及D的和，则PR(A)=PR(B)+PR(C)+PR(D)； 继续假设B也有链接到C，并且D也有链接到包括A 的3个页面，则 Pagerank计算公式 其中，PR(A)是页面A的Pagerank值，PR(Pi)是页面Pi的Pagerank值，页面Pi指向页面A，C(Pi)是页面Pi含有的链接数量，d是阻尼系数，一般取0.85。 Pagerank算法的特点 优点： 是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减少在线查询时的计算量，极大降低了查询响应时间。 缺点： 1）人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主题性降低； 2）旧的页面等级会比新页面高。 HITS (Hyperlink-Induced Topic Search)算法的提出 基于商业或竞争因素考虑，很少有WEB网页指向其竞争领域的权威网页 比如“Microsoft” 和 “Netscape”都是浏览器的权威主页，但并不互指； 权威网页很少具有显式的描述， 比如Google主页不会明确给出WEB搜索引擎之类的描述信息； PageRank算法中对于向外链接的权值贡献是平均的，HITS算法考虑了不同链接的重要性 HITS算法基本思想 Kleinberg于1998年提出HITS算法 两个重要概念 Authority 页面(权威页面)：是指与某个领域或者某个话题相关的高质量网页； Hub页面(枢纽页面)：指的是包含了很多指向高质量“Authority”页面链接的网页。 基本思想 一个好的” Authority”页面会被很多好的” Hub ”页面指向； 一个好的” Hub”页面会指向很多好的” Authority”页面； Hubs and Authorities 合起来趋向于形成如图: Hubs Authorities HITS算法简介 1.根集合(root set) 将查询q提交给基于关键字查询的检索系统，从返回结果页面的集合总取前n个网页作为根集合，记为root，则root满足： 1)root中的网页数量较少； 2)root中的网页是与查询q相关的网页 ； 3)root中的网页包含较多的权威(Authority)网页； HITS算法简介 2.扩展集合base 在根集root的基础上，凡是与根集内网页有直接链接指向关系的网页都被扩充到集合base。 根集 基本集 HITS算法简介 3.计算扩展集ba