数据预处理.pptVIP

* “ ” 预处理方法 2016年12月18日 原始数据存在的几个问题： 不一致 含噪声 维度高 不完整 重复 数据挖掘中使用的数据的原则： 数据预处理方法： 数据清洗 —— 去噪声和无关数据。 数据集成 —— 将多个数据源中的数据结合起来存放在一个一致的数据存储中。 数据变换 —— 把原始数据转换成为适合数据挖掘的形式。 数据规约 ——缩小数据集或者数据存储长度，以得到相近或相似的结果。 数据清洗 处理空缺值的方法: 数据清洗 噪声数据的处理方法： 数据清洗 分箱 分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据（某列属性值）按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。 数据集成 定义： 将多文件或者多数据库中的异构数据进行合并，然后存放在一个一致的数据存储中。 问题 1.模式匹配 2.数据冗余 3.数据值冲突? 数据变换 数据变换方法： 平滑 聚集 数据概化 规范化 属性构造 数据变化 数据平滑方法： 按平均值平滑 按边界值平滑 按中值平滑 数据变化 数据规约 定义： 目的是为了获得比原始数据小的多的，但不破坏数据完整性的挖掘数据集，该数据集可以得到与原始数据相同的挖掘结果。 数据规约 数据归约方法： 数据立方体聚集：把聚集的方法用于数据立方体。 维归约：检测并删除不相关、弱相关或冗余属性。 数据压缩：选择正确的编码压缩数据集。 数值压缩：用较小的数据表示数据，或采用较短的数据单位，或者用数据模型代表数据。 离散化和概念分层生成：使连续的数据离散化，用确定的有限个区段值代替原始值；概念分层是指用较高层次的概念替换低层次的概念，以此来减少取值个数。 “ ” *