玩玩文本挖掘.pdfVIP

文本挖掘-wordcloud、主题模型与文本 分类 Askyer(QQ:642874367) 序 本文主要介绍文 挖掘的常见方法，主要包括词频分析及 wordcloud 展现、主题模型、 文本分类、分类评价等。分类主要包括无监督分类 （系统聚类、KMeans、string kernals）， 有监督分类（knn、SVM ）。 文本挖掘概念 将数据挖掘的成果用于分析以自然语言描述的文 ，这种方法被称为文 挖掘(Text Mining)或文 知识发现(Knowledge Discovery in Text) 。 文 挖掘主要过程：特征抽取、特征选择、文 分类、文 聚类、模型评价。 主题模型（Topic Mode）介绍 主题模型是专门抽象一组文档所表达 “主题” 的统计技术。 最早的模型是 probabilistic latent semantic indexing (PLSI)，后来 Latent Dirichlet allocation (LDA，潜在狄利克雷分配模型) 模型成为了最常见的主题模型，它可以认为是 PLSI 的泛化 形式。LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽样等知识。 实例分析 0. 数据预处理 数据来源于sougou 实验室数据。 数据网址：/dl/sogoulabdown/SogouC.minitar.gz 文件结构 └─Sample ├─C000007 汽车 ├─C000008 财经 ├─C000010 IT ├─C000013 健康 ├─C000014 体育 ├─C000016 旅游 ├─C000020 教育 ├─C000022 招聘 ├─C000023 文化 └─C000024 军事 采用 Python 对数据进行预处理为 train.csv 文件，并把每个文件文 数据处理为 1 行。 1. 读取资料库 setwd(d:\\Testing\\ R\\w12) csv - read.csv(train.csv,header=T, stringsAsFactors=F) mystopwords- unlist (read.table(StopWords.txt,stringsAsFactors=F)) 2. 数据预处理（中文分词、stopword 处理） library(tm) #移除数字 removeNumbers = function(x) { ret = gsub([0-9 ０１２３４５６７８９],,x) } # 中文分词，也可以考虑使用rmmseg4j、rsmartcn wordsegment- function(x) { library(Rwordseg) segmentCN(x) } #去除停止词，效果比较差，可以进一步完善 removeStopWords = function(x,words) { ret = character(0) index - 1 it_ max - length(x) while (index = it_ max) { if (length(words[words==x[index]]) 1) ret - c(ret,x[index]) index - index +1 } ret } sample.words - lapply(csv$text, removeNumbers) sample.words - lapply(sample.words, wordsegme