lesson3网页的排名ppt.pptVIP

* 搜索引擎与数据管理Lecture4:网页排名 赵慧 无处不在的排序、排名 * * 搜索结果为什么有排名 使重要性高且有价值的网页能够被优先检索 重要度的度量 反向链接越多的网页越重要：被引用的次数越多 反向链接的源网页质量越高，被这些高质量网页所指向的网页越重要 例：某人A是《LuaLu》的高手 认可A厉害的人越多，A的排名就越高 如果输给A的人排名越高，则认可A厉害的人也厉害，A的排名也越高 如果A输给的人越少，即A认为厉害的人越少，那么A的排名就越高。 * 著名的PageRank算法 用户访问互联网页面的行为符合Random surfer Model——理论基础 用户随机选择一个网页作为上网的起始网页 浏览这个网页后从该网页所含的超链接随机选择一个页面继续浏览 沿着超链接重复浏览，直到对某个主题感到厌倦而重新随机选择另一个网页浏览，如此反复，直到结束。 小练习 每个页面当前的PageRank值如图示意 计算页面1的新PageRank值 * 反向链接到页面1的页面的概率值之和 0.023+0.045+0.166+0.061=0.305 PageRank的计算公式 网页A的PageRank值 网页Ti指向A的链接，网页Ti在上一次迭代时的PageRank值 网页Ti的链出页面的链接数量 阻尼系数： 0d1 通常 d＝0.85 是链入 页面的集合， 是 链出页面的数量，而 是所有页面的数量。 m是链入A页面的集合，C(Tj)是Ti链出页面的数量，而M是所有页面的数量。 PageRank的迭代计算（例简化计算） PR(A)=(1-d)/3+d*PR(C) PR(B)=(1-d)/3+d*(PR(A)/2) PR(C)=(1-d)/3+d*(PR(A)/2+PR(B)) 迭代计算同样得到计算结果 每个页面的初始PageRank值为1 A 0.4 B 0.2 C 0.4 0.2 0.2 0.4 0.2 求解方程得到: PR(A)＝ PR(B)= PR(C)= 大规模网页的PageRank值计算 转换为求解： 其中 概率转移矩阵 N维的全1行 全部网页个数 计算过程 迭代算法 x?任意一个初始量 r ?Ax if (||x-r||)ε，返回 else x ?r, goto 2 P的计算 初始化p’: 若网页i存在一个指向网页j的链接，则p’ij＝1，否则为0； 将每一行除以该行非零数字之和，得到一个新的矩阵，称为“马尔可夫转移矩阵”（记录每个页面跳转到其他页面的概率） P’的转置矩阵即概率转移矩阵 其他排名算法？新的排名想法？ Learning to Rank Why？ 机器学习的基本要素 * from 微软研究院 机器学习分类 监督学习 标注数据?模型 半监督学习 标注数据+未标注数据?模型 无监督学习 未标注数据?模型 * Next Seminar-3 Topics 重复的网页如何判断？ 文章抄袭检查背后的技术是什么？ 主要参加者 陈毓婷、陈越、高竹、孔昆、施文峥、司林、史晓杰、张涛、刘谦远、雷诣杉 * 0.305 * 两个部分构成：第一部分是固定的分；第二部分是被其它网页指向而得到其他网页的一部分得分 概率转移矩阵：元素非负，每一行元素之和等于1 * 0.305 * 两个部分构成：第一部分是固定的分；第二部分是被其它网页指向而得到其他网页的一部分得分 概率转移矩阵：元素非负，每一行元素之和等于1 *