线性代数在Google中的应用.pptVIP

搜索引擎：给定关键词，如何从几十万、几百万的海量网页中找出最有用的信息 解决思路 网页索引 确定网页和查询的关系 分类 网页链接矩阵与Google矩阵 二. PageRank向量 三. 网页与查询的关系（矩阵分解） 网页链接矩阵与Google矩阵 二. PageRank向量 三. 网页与查询的关系（奇异值分解） 任何一个搜索引擎都包含几十万甚至是上百万个多少有点关系的网页。那么哪个应该排在前面呢？ 根据网页之间的链接进行打分 基本原理“从优质的网页链接过来的网页必定还是优质网页” 超链接A→B ≡ A 对B 投一票 若A的质量高（如QQ），则该投票分数高 问题：已知Google矩阵（网页邻接矩阵），如何求出PageRank? 首先，PageRank可以表示为向量 R=[R1,R2,…,Rn] PageRank是Google矩阵的主特征向量 Google矩阵A 记A=AT（关注被链接） A（注意每列为和1向量） 令 x= PageRank，则 求解 x=Ax A的最大特征值为1(主特征值) x是主特征值1对应的特征向量 有重根怎么办？ 迁移矩阵A = [ cA + (1 - c) E]T 由于网页矩阵规模巨大（数量级约为240× 240 ），无法采用常规矩阵运算，因此通常采用迭代的方法求解（略） 网页链接矩阵与Google矩阵 二. PageRank向量 三. 网页与查询的关系（奇异值分解） 已有的数据 所有相关的网页(by 网络爬虫) 网页的质量(PageRank) 问题 输入关键词得到上百万有关系的网页 哪个应该排在前面？ 词频系数TFi＝关键词i的次数/网页总字数 例如 查询“线性代数的应用” 某个一共有一千词的网页中“线性代数”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，则它们的词频就分别是 0.002、0.035 和 0.005 将这三个数相加，其和 0.042 就是相应网页和查询“线性代数的应用”相关性的一个简单的度量。 交叉熵IDFi＝ｌｏｇ（Ｄ／Ｄi ） D，全部网页数目 Ｄi ，关键词i在Ｄi个网页中出现过 例如，查询“线性代数的应用” 假定中文网页数是Ｄ＝１０亿 “的”在所有的网页中都出现，即Ｄi＝１０亿，ＩＤＦi＝log(10亿/10亿）= log (1) = ０ “线性代数”在两百万个网页中出现，即Ｄi＝２００万，ＩＤＦi＝log(500) =6.2 假定通用词“应用”，出现在五亿个网页中，它的权重ＩＤＦ = log(2)＝0.7 结合网页排名(Page Rank)，给定一个查询，则某网页m的综合排名大致由相关性和网页排名乘积决定，即加权词频＝ PageRankm*(TF1*IDF1 +　TF2*IDF2 ＋... + TFN*IDFN) 向量形式PageRankm*(TFT*IDF) 我们已经得到单个网页与查询的关系 如何从海量网页中选取呢？ X中的每一行表示意思相关的一类词(越大越好) Y中的每一列表示同一主题一类网页，其中每个元素表示这类网页中每篇网页的相关性 B则表示某类词和某类网页之间的相关性 对某类查询得到的结果 西安电子科技大学 线性代数应用 线性代数在Google中的应用 曾 勇 西安电子科技大学 计算机学院 计算机网络与信息安全教育部重点实验室 线性代数在Google中的应用 线性代数在Google中的应用 Http网页链接示意图 网页链接矩阵 by “网络爬虫” Google矩阵 线性代数在Google中的应用 PageRank PageRank（衡量网页质量） PageRank示意图 PageRank（衡量网页质量） PageRank是主特征向量 PageRank是特征向量 PageRank示例 PageRank示例 A=[0,0.5,0,0.5;0.5,0,0.5,0;0,0,0,1;0,1,0,0]; A=AT; 令 x= PageRank，则[V,D]=eig(A); x是主特征值1对应的特征向量 结果分析 线性代数在Google中的应用 网页与查询的关系 网页与查询的关系 网页与查询的关系 网页与查询的关系 网页与查询的关系 aij =第 j 个词在第 i 篇文章中出现的加权词频 网页与查询的关系 Http网页链接示意图 Any Questions