文本挖掘综述ppt课件.pptVIP

文本挖掘;主要内容;文本挖掘的背景;1、文本挖掘概述;文本检索应用实例;文本检索过程;文档检索基本步骤;文本挖掘与数据挖掘的区别： 文本挖掘：文档本身是半结构化的或非结构化的，无确定形式并且缺乏机器可理解的语义； 数据挖掘：其对象以数据库中的结构化数据为主，并利用关系表等存储结构来发现知识 因此，数据挖掘的技术不适用于文本挖掘，或至少需要预处理。 ;文本挖掘与数据挖掘的区别;文本挖掘概念;文本挖掘的任务;文本挖掘处理过程;2、文本数据分析和信息检索;2、文本数据分析和信息检索;2.1 文本检索的基本度量;信息检索的度量方式;模型质量的评价实例;2.2 文档检索方法;基于模型的检索;文本符号化;文档建模;文档建模;向量空间模型;维度权值计算方法 目前广泛采用TF/IDF权值计算方法， TF-IDF的主要思想是，如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。 IDF逆文档频率(Inverse Document Frequency)的主要思想是：如果包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。 在完整的向量空间模型中，将TF和IDF组合在一起，形成TF-IDF度量：TF-IDF（d,t）= TF(d,t)*IDF(t) ;基于相似性的检索;文档间相似性计算举例;文档向量化;查询：相关度;文档间相似度（余弦定理）;2.3 文本索引技术;倒排表;倒排表例子;倒排表存储结构;特征文件（signature file）;2.4 查询处理技术;关键词检索存在的问题;3.文本的维度规约;3.1潜在语义索引（LSI）; 奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵对角化的推广。 奇异值分解在某些方面与对称矩阵或Hermite矩阵(共轭矩阵)基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。;潜在语义标引（latent semantic indexing）方法;3.2局部保留标引（LPI）;3.3概率潜在语义标引（PLSI）;4.文本挖掘方法;（1）关键词检索 关键词建立倒排文件索引，与传统的信息检索使用的技术类似。 （2）相似检索 找到相似内容的文本。 （3）词语关联分析 聚焦在词语（包括关键词）之间的关联信息分析上。 （4）文本聚类和文本分类 实现文本的聚类和分类。 （5）自然语言处理 揭示自然语言处理技术的语义，进行文本语义挖掘。 ;4.1关联分析挖掘 ;4.1关联分析挖掘 ;4.1关联分析挖掘 ;4.1关联分析挖掘;4.2文档分类分析;4.2文档分类分析;4.2文档分类分析;4.2文档分类分析;4.2文档分类分析;4.2文档分类分析;4.2文档分类分析;4.3文档聚类分析;4.3文档聚类分析;4.3文档聚类分析;4.3文档聚类分析;4.3文档聚类分析;4.3文档聚类分析;