大数据和数据挖掘之文本挖掘.pptVIP

大薮据与薮据挖掘-文本挖掘 1、文本挖掘概述 文本挖掘的背景 数据挖掘大部分研究主要针对结构化数据,如关系的、事 务的和数据仓库数据 现实中大部分数据存储在文本数据库中,如新闻文章 研究论文、书籍、WEB页面等 ·存放在文本数据库中的数据是半结构化数据,文档中可能 包含结构化字段,如标题、作者、出版社、出版日期等, 也包含大量非结构化数据,如摘要和内容等。 文本挖掘概念 文本挖掘旨在通过识别和检索令人感兴趣 的模式,进而从数据源中抽取有用的信息、。 文本挖掘的数据源是文本集合,令人感兴 趣的模式不是从形式化的数据库记录里发 现,而是从非结构化的数据中发现 文本挖掘的过程 ·预处理 ·文档建模 ·相似性计算 信息检索 ·文本分类 ·文本聚类 ·模型评价 预处理 把中文的汉字序列切分成有意义的词,就是中文分 词,也称为切词。 “我是一个学生”分词的结果是:我是一个学生。 和平民主 和平、民主;和、平民、主 ·提高人民生活水平 提高、高人、人民、民生、生活、活水、水平 ·大学生活象白纸 大学、生活、象、白纸 大学生、活象、白纸 最大匹配分词法 S1=计算语言学课程是三个课时 设定最大词长 MaxLen=5 S2= (1)S2=“”;S1不为空,从S1左边取出候选子串 W=计算语言学 (2)查词表,“计算语言学”在词表中,将W加入到S2中 S2=“计算语言学/”,并将W从S1中去掉,此时S1=”课 程是三个课时〃 3)S1不为空,于是从S1左边取出候选子串W=课程是三 个 (4)查词表,W不在词表中,将W最右边一个字去掉,得 到W=课程是三; (5)查词表,W不在词表中,将W最右边一个字去掉,得 到W=课程是; 6)查词表,W不在词表中,将W最右边一个字去掉 得到W=课程 (7)查词表,W在词表中,将W加入到S2中,S2=“计 算语言学/课程/”,并将W从S1中去掉,此时S1=“是 课时 (8)S1不为空,于是从S1左边取出候选子串W=是三 个课时 (9)査词表,W不在词表中,将W最右边一个宇去掉, 得到W=是三个课; (10)查词表,W不在词表中,将W最右边一个字去掉, 得到W=是三个 (11)查词表,W不在词表中,将W最右边一个字去掉,得 到W=是三 (12)查词表,W不在词表中,将W最右边一个字去掉,得 到W=“是”,这时W是单字,将W加入到S2中,S2=“计算 语言学/课程/是/” 并将W从S1中去掉,此时S1=”三个课时; (21)S2=“计算语言学/课程/是/三/个/课时/” ,此时S1= (22)S1为空,输出S2作为分词结果,分词过程结束 停用词 指文档中出现的连词,介词,冠词等并无太大意义的词。 英文中常用的停用词有the,a,it等 中文中常见的有“是”,“的”,“地”等 停用词消除可以减少term的个数,降低存储空间。停用词 的消除方法: (1)查表法:建立一个停用词表,通过查表的方式去掉 停用词 (2)基于D的方法:统计每个词的DF,如果超过总文档 数目的某个百分比(如80%),则作为停用词去掉。