R语言数据预处理与挖掘实验指南.pdfVIP

R语言挖掘：数据预处理

【实验目的】

1）掌握R语言模型评估的常用方法

2）熟悉R语言实现常用的文本挖掘方法

3）熟悉R语言的基本操作

【实验原理】

文本挖掘，有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，

一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测

来产生，如模式识别。文本挖掘通常涉及输入文本的处理过程（通常进行分析，

同时加上一些衍生语言特征以及消除杂音，随后到数据库中），产生结构

化数据，并最终评价和解释输出。高品质的文本挖掘通常是指某种组合的相关

性，新颖性和趣味性。典型的文本挖掘方法包括文本分类，文本聚类，概念/实

体挖掘，生产精确分类，观点分析，文档和实体关系模型（即，学习已命

名实体之间的关系）。文本分析包括了信息检索、词典分析来研究的频数

分布、模式识别、、注释、信息抽取，数据挖掘技术包括和关联分析、

可视化和预测分析。本质上，首要的任务是，通过自然语言处理（NLP）和分

析方法，将文本转化为数据进行分析。

文本挖掘已经是信息检索、数据挖掘、机器学习、统计以及计算语言等学科

中的重要领域，由于目前的大多数信息（80%）是以文本的形式来保存，文本

挖掘被认为具有较高的商业潜在价值，而且多语种挖掘已经越来越多的引起人

们的，能够根据自己的意愿从跨语种的文字中挖掘出有用的信息。

【实验环境】

本次环境是：6.564位系统+R3.2.3

【实验步骤】

一、数据源的获取

1.1打开RStudio，点击FileNewFileRScriptCtrl+s保存为qq1.R如图1所示

1.2在导入数据源之前，先加载本次挖掘所需要的包到R的Cache，没安装的包需要先安

装，如图2所示

1.3导入数据源，到内存，如图3所示

1.4这里不关心内容，只看时间和发言人，所以，这里要用到正则表达式，对R语言

的grep、sub、gregexpr等字符串处理函数不，网上搜一下，资料多的是，如图4所示

1.5看看srcdata内容，就已经全是发言时间和发言人信息了，没有其它闲杂数据，如图5

所示

1.6然后再从srcdata中提取发言时间和发言人信息，分别存到列表data的time和id中。

对发言人信息的提取很简单，如图6所示

1.7对发言时间的提取要稍些，因为时间字符串的长度不一样，有些是18位，如“20

16-04-187:36:32”，有些是19位，如“2016-04-1819:24:01”，所以，在提取时间时，需先

用gregexpr确定时间字符串的起始和结束位置，然后再用substring提取出相应的时间，注意

substring和sub是不同的函数，如图7所示

1.8现在时间和发言人信息都读到data的time和id中了，可以确认下提取内容：data、

dataid、datatime，还没完，时间还是字符串，还需要继续处理，数据整理将字符串中的日期和

时间划分为不同变量，如图8所示

1.9转换日期为时间格式，如图9所示

1.10提取星期数据，转换数据格式，如图10所示

代码