数据挖掘原理与应用——以石油勘探开发为例 课件 3.3 数据清理 .pptxVIP

3.3数据清理

数据清理一、数据缺失的处理引起缺失值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时，有些数据因为得不到重视而没有被输入

数据清理如何处理缺失值忽略元组：最简单。例如：在分类任务中，类别标签不可少，当类别标签缺少时通常这么做当每个属性缺少值的百分比变化很大时，它的效果非常差。人工填写缺失值：工作量大，可行性低使用一个全局变量填充缺失值：自动填补方法。例如：使用unknown或-∞

数据清理如何处理缺失值使用属性的平均值填充缺失值用同类样本的属性均值填充缺失值使用智能的方式填充缺失值：使用像Bayesian公式或判定树这样的基于推断的方法图使用平均值填补缺失值

数据清理二、噪声数据的处理噪声：指被测量变量的随机错误或偏差。引起噪声的原因数据采集工具的问题数据输入错误数据传输错误技术限制（客观因素的制约）命名规则的不一致

数据清理常见的噪声数据处理技术分箱(binning)首先排序数据，并将他们分到不同的箱中可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑回归：通过让数据适应回归函数来平滑数据聚类：监测并且去除孤立点计算机和人工检查结合：计算机检测可疑数据，然后对它们进行人工判断

数据清理分箱(binning)分箱方法：通过考察“邻居”(即周围的值)来平滑有序数据值。存储的值被分布到一些“桶”