商务智能理论与应用.pptx

大数据与数据挖掘-文本挖掘;文本挖掘的背景;文本挖掘概念;文本挖掘的过程;预处理;最大匹配分词法;;;;停用词;文档建模;;文档的向量空间模型;W权值计算方法TF-IDF 目前广泛采用TF-IDF权值计算方法来计算权重， TF-IDF的主要思想是，如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。 IDF逆文档频率(Inverse Document Frequency)是全体文档数与包含词条文档数的比值。如果包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。 在完整的向量空间模型中，将TF和IDF组合在一起，形成TF-IDF度量：TF-IDF（d,t）= TF(d,t)*IDF(t) ;TF度量;IDF度量;关键词与网页的相关性计算;;;;算例1;算例2;文档相似性计算;;文档相似性计算示例;;;信息检索;文本检索的基本度量;信息检索的度量方式;模型质量的评价实例;文本挖掘举例;文档向量化;查询：相关度;文档间相似度（余弦定理）;3.文本的维度规约;文本挖掘方法;（1）关键词检索 关键词建立倒排文件索引，与传统的信息检索使用的技术类似。 （2）相似检索 找到相似内容的文本。 （3）词语关联分析 聚焦在词语（包括关键词）之间的关联信息分析上。 （4）文本聚类和文本分类 实现文本的聚类和分类。 （5）自然语言处理 揭示自然语言处理技术的语义，进行文本语义挖掘。 ;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;