R语言挖掘实验：数据源与处理.pdfVIP

R语言挖掘：数据源获取

【实验目的】

1）掌握R语言模型评估的常用方法

2）熟悉R语言实现常用的文本挖掘方法

3）熟悉R语言的基本操作

【实验原理】

文本挖掘，有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，

一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测

来产生，如模式识别。文本挖掘通常涉及输入文本的处理过程（通常进行分析，

同时加上一些衍生语言特征以及消除杂音，随后到数据库中），产生结构

化数据，并最终评价和解释输出。高品质的文本挖掘通常是指某种组合的相关

性，新颖性和趣味性。典型的文本挖掘方法包括文本分类，文本聚类，概念/实

体挖掘，生产精确分类，观点分析，文档和实体关系模型（即，学习已命

名实体之间的关系）。文本分析包括了信息检索、词典分析来研究的频数

分布、模式识别、、注释、信息抽取，数据挖掘技术包括和关联分析、

可视化和预测分析。本质上，首要的任务是，通过自然语言处理（NLP）和分

析方法，将文本转化为数据进行分析。

文本挖掘已经是信息检索、数据挖掘、机器学习、统计以及计算语言等学科

中的重要领域，由于目前的大多数信息（80%）是以文本的形式来保存，文本

挖掘被认为具有较高的商业潜在价值，而且多语种挖掘已经越来越多的引起人

们的，能够根据自己的意愿从跨语种的文字中挖掘出有用的信息。

【实验环境】

本次环境是：Windows764位系统+R3.2.3

【实验步骤】

一、数据源的获取

1.1以QQ群里的为例，从QQ消息管理器中导出消息记

录，保存的文本类型选择txt文件，这里获取的是某群半个月期间的连天

记录，记录样本如图1所示

注意：接下来的实验才是重点，数据探索与等。