task1_svd讲.ppt

KDD09 Faloutsos, Miller, Tsourakakis Large Graph Mining: Power Tools and a Practitioner’s guide Task 1: Node importance Faloutsos, Miller, Tsourakakis CMU Node importance - Motivation: Given a graph (eg., web pages containing the desirable query word) Q: Which node is the most important? Node importance - Motivation: Given a graph (eg., web pages containing the desirable query word) Q: Which node is the most important? A1: HITS (SVD = Singular Value Decomposition) A2: eigenvector (PageRank) Node importance - motivation SVD and eigenvector analysis: very closely related See ‘theory Task’, later SVD - Detailed outline Motivation Definition - properties Interpretation Complexity Case studies SVD - Motivation problem #1: text - LSI(Latent Semantic Indexing潜在语义索引 ): find concepts’(/wiki/Latent_semantic_indexing)潜在语义索引(LSI)是一个索引和检索方法,它使用一个数学称为奇异值分解(曲面)的技术来识别模式中包含的术语和概念之间的关系非结构化文本的集合。潜在语义索引是基于词的原则,在相同的上下文中使用往往有相似的含义。潜在语义索引的一个关键特性是能够提取的概念内容的文本通过建立这些术语之间的联系,在类似的情况下发生。[1]潜在语义索引也是一个应用对应分析,多元统计技术开发的让·保罗·Benzecri[2]在1970年代早期,一列联表由词项在文档中。称为潜在语义索引,因为其能力的关联语义相关术语中潜在的文本的集合,这是第一次应用于文本复印件在1980年代末。方法,也称为潜在语义分析(LSA),揭示了潜在的潜在语义结构的使用单词的文本和如何使用它来提取文本的意义在响应用户的查询,通常被称为搜索概念。查询或搜索概念,对一组文件,已经经历了潜在语义索引将返回的结果在概念上类似意义的搜索条件即使结果不共享一个特定的词或词的搜索标准。 SVD - Motivation problem #2: compression / dim. reduction 压缩(Compression) ：压缩是制作数字电影的一个重要感念。视频和音频在数字化过程中都可以通过电脑进行压缩。当声音和画面被压缩后，他们可以更高效的得到CPU的处理并减少视频及音频文件占用的硬盘空间。压缩也是视频在网络上传播的关键，必须将文件大小压缩至带宽允许的程度才可以被用户下载。 SVD - Motivation problem #1: text - LSI: find ‘concepts’ SVD - Motivation Customer-product, for recommendation system: [letis] SVD - Motivation problem #2: compress / reduce dimensionality Problem - specs ~10**6 rows; ~10**3 columns; no updates; random access to any cell(s) ; small error: OK SVD - Motivation SVD - Motivation SVD - Detailed outline Motivation Definition - properties Interpretation Complexity Case studies Additional properties SVD - Definition (reminder: matrix multiplication SVD - Definition (reminder: matrix multiplication SVD - Definiti