数据挖掘原理与应用——以石油勘探开发为例 课件 8.1 潜在语义分析LSA应用背景.pptxVIP

第八章文本抽取算法

·01潜在语义分析LSA应用背景·02创建Term-DocumentMatrix·03TF-IDF修改权重·04SVD矩阵分析·05相似度计算·06文献检索·07SVD数学基础

8.1潜在语义分析LSA应用背景

潜在语义分析LSA应用背景什么是LSA语义分析LSA(LatentSemanticAnalysis)通过分析文章来挖掘文章的潜在意思或语义(concepts)目的是解决如何通过搜索词/关键词(searchwords)定位出相关文章基本原理是将文章和单词等映射到语义空间(conceptspace)上，并在该空间进行对比分析

什么是Term-DocumentMatrix以下矩阵展现了单词(term)和文档(document)之间的关系，称为Term-DocumentMatrix。潜在语义分析LSA应用背景

潜在语义分析LSA应用背景LSA的一个重要假设每个单词假设只有一个意思

潜在语义分析LSA应用背景实例这里有10个跟“oil”相关的文档，这些文档都有共同一个索引词（indexword）。一个索引词可以是符合以下条件的任意单词：1)出现在两个或以上的文档中；2)非停用词：词意不过于一般，如“and”,“the”等，这些词对文章的语义并没起到突出的作用，因此应该被过滤掉。选取了以下10个标题进行实验。