16统计模型与统计实验第二篇第八章红楼梦与统计建模2.pptx

;什么是文本挖掘？;文本挖掘能够干什么？;本节学习目的：;读取包含小说文本内容的文本数据

在互联网可以找到《红楼梦》或其他小说的完整文本内容，建议是txt格式。使用readLines()函数读入文本数据，并保存在texts对象。对象texts是一个向量，txt文本中每个段落是向量的一个元素。在后续文本处理中需要注意texts的数据结构特点。

停用词表，或者其他用于识别特征信息的关键词数据库

如果是按照前一节所介绍的做法，此处需要读取体现每类花卉、饮食、树木等的词库，用于后续步骤的统计分析。本节只是简单示范，即在分词之后进行简单统计分析，只需要在分词之后去掉停用词即可。

R演示1;进行任何数据分析之前都应意识到，原始数据可能需要经过数据清洗。文本挖掘的原始数据是来自各种可能途径的文本信息，更可能存在冗余信息。本案例获取的文本数据包含了一些与小说内容无关的介绍性文字，例如“手机下载”、“电子书”、“书籍介绍”等辅助文字。在统计分析之前应找出这些文字在txt文本中的位置特点，然后批量去掉。需要确保用于统计分析的文本数据仅仅是小说内容，不能有任何与小说内容无关的信息。

R演示2;研究目标对比不同章回之间的差异，将不同章回进行拆分拆分依据需要根据txt文本每章开头和每章结束的文本特点进行识别。在本案例中，每章开头都有“上卷第X回”或“下卷第X回”这样的表述。其中，X表示章回的序号，是用中文数值表示。可以按照这个特点确定每章的开头位置（即在texts中的第几个元素）。构造了一个“数字辅助.csv”文档，用于标记章序号在txt文本中的书写方式。Position.text是用于匹配的每章开头位置的关键词。

保存每章内容在找到每章开头位置之后，每章结尾位置都是下一章开头位置减1。最后一章的结尾位置是texts的最后一个元素。从而将每章分别从texts中提取出来，分别保存在list格式的texts.chapters中。

R演示3;进一步进行词频统计。

继续清理文本中的无效词汇，例如英文字母和数字；

分词，调用jiebaR包里的worker()函数进行分词；

去掉停用词，得到用于频数统计的词列表；

对词列表进行频数统计，排序。

自编函数，即R命令中的fun.Freq2()函数。对每章进行分析时只需要调用这个函数即可，可以大幅简化程序复杂程度。

R演示4;绘制词云在文本数据结果基础上，可以绘制词云。这是最常见的文本挖掘结果展示方式。

聚类分析、假设检验等更复杂的统计运算。读者可以根据需要编写相应的程序进行训练。

R演示5;文本挖掘步骤