信息检索十LinkAnalysis研究报告.pptVIP

湖南大学计算机与通信学院 刘钰峰 互联网信息搜索十 Link Analysis 社会网络（social network） 任何一种用于建立个体之间联系的自然现象、社会活动或技术机制都可能形成一张网 “朋友关系”（对称，无向图） “知晓关系”（不对称，有向图） “文献引用关系”（不对称，有向图） co-author关系（对称，无向图，成块“clique”） 通电话，通信 病毒传染（生物、计算机） 网页链接关系（不对称，有向图） 还可以考虑不同的“尺度”：网站之间，城市之间，省份之间，国家之间，… Web Graph /TGGoogleBrowser.html 研究这些“关系图”有什么意义？ 一阶指标（“入度”） 知晓关系：社会知名度 引用关系：认可程度 “高阶指标” 和一个著名人物“共同发表”论文的“距离”：越短似乎显得越“有荣誉”（例如，Erdos number，/enp） 仅仅是“结构”就可以带来丰富的“语义” 例如省份之间的链接数差别可能有有意义的解释 知名度，声望，重要性，… reputation, prestige, importance, … 完全靠“入度”来评价可能显得比较粗燥（即这种评价模型不一定很准） 认识甲的人可能和认识乙的人一样多，但认识乙的人都是些“重要人物”，于是通常应该认为乙比甲重要 不仅是人，论文也是一样，被重要的文章引用的文章可能就比较重要些 例子：按照入度， 节点1，3同样重要； 2，4同样重要。但 我们似乎感到3比1 重要些，2比4重要些。 如何用一个模型来刻画这种感觉，使算出来的“重要性”反映这种感觉？ 在Web之前就有社会网络分析学术领域 文献计量学（bibliometry） 研究文献的贡献程度 哪些文章是“有影响的”文章？ 研究文献的聚类，从而可能得到一个领域发展的状况 co-citation分析，如果a引用了b和c，称b和c有co-citation关系 流行传染病学，侦察、谍报学 发现那些关键节点，删除它们使得其他节点之间的距离显著扩大 模型、指标体系的“合适性”取决于应用目标 图论、线性代数若干概念回顾 图，有向图，邻接矩阵，两节点间的距离（d），节点的半径（r），图的连通，有向图的强连通，连通分支 d(u,v)：从u到v的最短路径的长度 r(u)：最大的距离 c(G)：具有最短半径的节点 矩阵（A），矩阵的转置（AT），行列式（|A|），特征值，特征向量，线性相关性 声望模型二（续） 对于所有i，p(i) = ∑E[k,i]p(k)，k=1,…,n 也就是，记p = (p(1), p(2), …, p(n))T, p = ETp 问题是： 这个方程存在解吗？ 如果存在，如何得到？ 如果不存在，该怎么办？ 一般来讲：这个方程的非0解是不存在的！ p = ETp 的不存在例 S = {1,2,3}, R = {1,2,1,3,2,3} E = ((0,1,1),(0,0,1),(0,0,0)) ET = ((0,0,0),(1,0,0),(1,1,0)) 不难看到： 方程的成立?p(1)=0?p(2)=0?p(3)=0 一般来讲，p = ETp，意味着要求ET有特征值1，这是很难得的。 先前那4个点的例子也无解 p = ETp ? (I － ET)p = 0 线性代数讲，此方程组有非0解，仅当行列式|I － ET| = 0 但我们算得|I － ET| = -2 即使有解，还有可能不唯一！ S = {1,2,3}, R = {1,2,2,3,3,1} 不难看出任何 p(1) = p(2) = p(3) 都是解 怎么办？ 修改模型 模型三：让i的声望等于知晓他的人的声望之和乘以一个常数（对所有i相同） p(i) = c×∑E[k,i]p(k)，k=1,…,n 与模型二的关系 效果上感觉应该差不多，因为是“共同的常数”，而对我们有意义的只是“相对声望” 但并不完全等价! 还是要问： 非0解存在吗？如果存在，如何计算？ p = c*ETp 解的存在性 这就是特征值、特征向量的定义方程 注意到c只需要在一个系统中保持常量，不同的系统是可以不一样的，1/c就是ET的特征值，可以随p同时求出来 但这问题就来了！ ET最多可能有n个不同的特征值 如果是有多个不同的特征值，取那一个为好？ 不同的特征值对应有不同的特征向量，我们没有理由认为这不同的特征向量反映出来的节点声望序是一致的 即使是同一个特征值，对应的特征子空间中也可能有多个向量（我们也没理由认为它们反映出来的节点声望序是一致的），应该取哪一个？ 还有，特征值、特征向量不是实数怎么办？ p = c*ETp The Perron-Frobenius Theorem 如果有向图G是强连通的，则它的邻接矩阵A有一个唯一