- 1、本文档共56页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据与数据挖掘-文本挖掘;文本挖掘的背景;文本挖掘概念;文本挖掘的过程;预处理;最大匹配分词法;;;;停用词;文档建模;;文档的向量空间模型;W权值计算方法TF-IDF
目前广泛采用TF-IDF权值计算方法来计算权重, TF-IDF的主要思想是,如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。
IDF逆文档频率(Inverse Document Frequency)是全体文档数与包含词条文档数的比值。如果包含词条的文档越少,IDF越大,则说明词条具有很好的类别区分能力。
在完整的向量空间模型中,将TF和IDF组合在一起,形成TF-IDF度量:TF-IDF(d,t)= TF(d,t)*IDF(t)
;TF度量;IDF度量;关键词与网页的相关性计算;;;;算例1;算例2;文档相似性计算;;文档相似性计算示例;;;信息检索;文本检索的基本度量;信息检索的度量方式;模型质量的评价实例;文本挖掘举例;文档向量化;查询:相关度;文档间相似度(余弦定理);3.文本的维度规约;文本挖掘方法;(1)关键词检索
关键词建立倒排文件索引,与传统的信息检索使用的技术类似。
(2)相似检索
找到相似内容的文本。
(3)词语关联分析
聚焦在词语(包括关键词)之间的关联信息分析上。
(4)文本聚类和文本分类
实现文本的聚类和分类。
(5)自然语言处理
揭示自然语言处理技术的语义,进行文本语义挖掘。
;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;
您可能关注的文档
- 陕西西北新技术实业股份有限公司战略实施方案.pptx
- 商标符号下的品牌忠诚.pptx
- 商场促销员培训.pptx
- 商场促销员专业培训教材.pptx
- 商场企业安全安全生产标准化评分细则.pptx
- 商场设计与商品陈列课件.pptx
- 商场收银员岗位培训.pptx
- 商超渠道营销思路2.pptx
- 商法法规汇编.pptx
- 商行营销2商业银行营销的市场分析.pptx
- 人民大2024教学课件完整版《经济法概论(第七版)》王晓红 张秋华 著.pptx
- 人民大2024思想政治教育心理学(第三版)课件07 第七章 思想政治教育心理学(第三版).ppt
- 人民大2024教育法学教学课件第四章 公民受教育权.pptx
- 人民大2024创业营销策划(第二版)课件6.创业营销组合策划——渠道策划.pptx
- 人民大2024电子商务法律实务第四版PPT单元11 直播电商 第4版陈.pptx
- 人民大2024婴幼儿家园共育 课件5.6第五章第六节课件.pptx
- 人民大2024国际结算(第七版)PPT课件.ppt
- 人民大2024幼儿行为观察与分析(第二版)ppt第六章 取样观察法.pptx
- 人民大2024电子商务法律实务第四版PPT单元8消费者权益保护.pptx
- 人民大2024教学课件-金融科技概论-第三章.pptx
最近下载
- 2023年流域数字孪生平台解决方案.docx
- 建筑设备工程四版建工社高明远等10章 供暖及供燃气.ppt
- 中国中信集团有限公司招聘笔试题库2024.pdf
- 第27课 改革开放与建设中国特色社会主义 (3).pptx
- COM Express Module Base Specification_R3.0 COM Express模块基本规范_R3。0.doc
- 2023年宁波市海曙外国语学校小升初语文模拟试卷及答案解析.pdf
- 火电工程设计审查管理规定.pdf VIP
- CQI-23注塑过程审核查检表(中英文)Molding System Assessment(... (中英对照).xlsx VIP
- 化学水处理工技能鉴定笔试题库.pdf VIP
- 黑布林阅读初二16《绿山墙的安妮——安妮到来》中文版.pdf
文档评论(0)