进行数据挖掘之前与R语言.ppt

进行数据挖掘之前 数据集成 数据集成：将多个数据源中的数据结合起来存放一个一致的数据存储的过程 数据集成包括数据集成和模式集成。 例如：在一个企业的两个数据源中我们分别以cust-id 和customer-no来标识用户，数据集成时，把标识相同的客户和在一起 A.cust-id==B.customer-no 用户标识的定义不同 A表：ID=”23442” B表：ID=”SH23442” String(A.cust-id)== String(B. customer-no).Substr(2,length-2) 进行数据挖掘之前-数据预处理 数据预处理 数据预处理原因：①现实世界的数据是“杂乱的”。 ②数据挖掘需要高质量的数据。 如何对数据进行预处理 ◆数据清理 ◆数据转换 ◆ 数据的规约 数据清理 格式标准化 异常数据清除 错误纠正 重复数据的清除 处理缺失数据 处理重复数据 处理噪声数据 处理异常数据 目标： 提高数据质量的四个环节 数据转换 分类： 常规数据转换 通常通过线性或非线性的数学变换方法等方式将数据转换成适用于数据挖掘的形式。 非常规数据的数据变换 根据数据的特性会有较多的形式各异的转换方式。 数据转换 常见转换方法： 为了减少数据复杂度，用高层概念替换底层概念。 专注于数据规范化，是数据按比例缩放，落入特定区域。 做属性构选，通过一个或多个属性的变换计算构造出新的属性。 数据转换 ⑴标准差标准化 所谓标准差标准化是将各个记录值减去记录值的平均值在除以记录值的标准差 X’=（Xij-Xia)/Si n Xia为平均值，表达式为 Xia=1/n∑Xij j=1 n 设Sij是标准差有：Si=√1/n ∑(Xij-Xia) j=1 数据转换 (2)极差标准化 极差标准化变换是将各个记录值减去记录值的平均值，在除以记录值的极差。 X’ij=(Xij-Xia))/(max(Xij)-min(Xij)) (3)极差正规化 X’ij=(Xij-min(Xij))/(max(Xij)-min(Xij)) 将各个记录值减去记录值的极小值，在除以记录值的极差 。 数据转换 最小—最大规范化处理 将所有数据转化到我们新设定的最小和最大值的区间内。 数据的规约 更少的数据，提高挖掘效果 更高的数据挖掘处理精度 简单的数据挖掘处理结果 更少的数据特征 删除列 删除行 减少列中的值 效果： 由于数据规约对原始数据通常都是有损的，尽量不使用规约。 基本操作： R语言简介 R语言基本语法结构 标准的和基于各种设备的输入/输出 面向对象编程方式和数学编程方式 分布式计算结构 引用程序包 数学和统计学各种函数包括：基本数学函数，模拟和随数产生函数基本统计函数和概率分布函数 机器语言学习功能 信号处理功能 统计学建模和测试功能 静态和动态的图形展示 R语言简介 R语言在数据挖掘中的优势： 最廉价（免费） 最全面的算法 最完美多样的数据展示 最狂热的爱好者社区 R语言的整个语法结构完全来自S语言，突出两个特点是：函数或编程和向量化计算。 背景特点 简介R语言常用的包 CORElearn包：程序包集合了多种分类算法和回归模型 例如：朴素贝叶斯，随机森林，决策树，回归分析等。 E1071包：综合了众多数数据挖掘的包，其中被使用较多的SUM（）函数实现支持向量化。 Rpart包：提供有效处理稀疏二元数据的数据结构，而且提供函数用Apriori算法和Edat算法来挖掘频繁项集最大频繁项集，闭频繁项集合和关联规则。 Random forest包：实现随机森林算法。 ROCR包：是专门用于做模型评估的，可以方便的绘出ROC图。 MATLAB（MATtrix LABoratary）矩阵实验室 功能： ① MATLAB将数值分析，矩阵计算，科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中。 ②可以轻易地描绘二维和三维图形。 特点：高效的数学表达式表现方式，数值计算及符号计算功能。 语言：MATLAB语言是简化版的类C++语言。 其他商用数据挖掘工具 SPSS Modeler 支持整个数据挖掘流程，包括从数据获取，转化，建模，评估到最终部署的全部过程。 SAS Enter Miner 可利用具有图形化