R语言文本挖掘.docxVIP

中文及英文的文本挖掘—— R语言 所需要的包 tm(text mining) rJava,Snowball,zoo,XML,slam,Rz, RWeka,matlab 1 文本挖掘概要 |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载. 文本挖掘是从大量的文本数据中抽取隐含的，求和的，可能有用的信息；通过文本挖掘实现 .Associate ：关联分析，依据同时显现的频率找出关联规章 .Cluster ：将相像的文档（词条）进行聚类 .Categorize ：将文本划分到预先定义的类别里 .文档自动摘要：利用运算机自动地从原始文档中提取全面精确地反映该文档中心内容的简洁连贯描述性短文； 文本挖掘的运用主要有如下几方面智能信息检索 同义词，简称词，异形词，同音字、赘字移除 网络内容安全内容监控 内容过滤 内容治理 自动分类 检测和追踪市场监测 口碑监测 竞争情报系统市场分析 英文文本挖掘实例 实现多个英文文档的聚类分析 文本预处理 读取文本内容 #取得 tm 内部文件 texts/crude/ 下的文件目录； library(tm,lib.loc=d:/ProgramFiles/R/R-3.0.3/library) vignette(tm)# 猎取相关帮忙文档的内容， pdf 格式 reut-system.file(texts,crude,package=tm) # 用 Corpus 命令读取文本并生成语料库文件 由于要读取的是 xml 文件，所以需要 xml 包 reuters - Corpus(DirSource(reut), readerControl = list(reader = readReut21578XML)) # DirSource 指示的是文件夹路径， 假如是单个向量要设为语料库就 VectorSource( 向量名 ) readerControl 不用设置 查看前两个语料变量内容 |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载. 另外可以从本地文件中读取用户 txt 文件 inputtest-read.csv(file.choose()) 文本清理 对于 xml 格式的文档用 tm_map命令对语料库文件进行预处理，将其转为纯文本并去除余外 空格，转换小写，去除常用词汇、合并异形同意词汇，如此才能得到类似 txt 文件的成效需要用到的包 SnowballC reuters - tm_map(reuters, PlainTextDocument)# 去除标签 reuters - tm_map(reuters, stripWhitespace)# 去余外空白 reuters - tm_map(reuters, tolower)# 转换小写 reuters - tm_map(reuters, removeWords, stopwords(english)) tm_map(reuters, stemDocument) 查找含有特定语句的文档 例如找出文档编号为 237 而且包含句子 INDONESIASEENAT CROSSROADOSVERECONOMI CHANGE 的文档； query - id == 237 heading == INDONESIA SEENAT CROSSROADOSVERECONOMI CHANGE tm_filter(reuters, FUN = sFilter, query) |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载.  找到 由于语料库已经将大小写转换以及将介词类删除所以对应的语句只是特有单词的组合； 生成词频矩阵并查看内容 dtm - DocumentTermMatrix(reuters) 查看某部分的词频内容个数，其中 dtm 行提示哪个文件，列表示词语； inspect(dtm[10:15,110:120]) A document-term matrix (6 documents, 11 terms) Non-/sparse entries: 6/60 Sparsity : 91% Maximal term length: 9 Weighting : term frequency (tf) Terms Docs activity. add added added. address addressed adherence adhering advantage advisers agency [1,] 0