数据预处理的答案.pptVIP

数据预处理  主要内容 2.1为什么要预处理数据 2.2数据清理 2.3数据集成 ■24数据变换 ■25数据归约  1数据预处理的原因 现实世界的数据 ■不完整的 缺少属性值或某些感兴趣的属性,或仅包含聚 集数据 e. g, occupation= 含噪声的 包含错误或存在偏离期望的离群值 e.g. Salary =-10 不一致的 采用的编码或表示不同 aeg过去的等级:“1,2,3现在的等级:“A,B,C 3  据错误的不可避免性 数据输入和获得过程数据错误 数据传输过程所引入的错误 ■据统计有错误的数据占总数据的5%左 右  由于现实世界的数据一般是脏的、不 完整的和不一致的,且一些错误不可避免 。因此必须先进行预处理,改进数据的质 量,从而有助于提高其后的挖掘过程的精 度和性能。  数据预处理的形式 ■数据清理 补充缺失数据、平滑噪声数据、识别或 删除离群点,解决不一致 数据集成 集成多个数据库、数据立方或文件 数据变换 规范化和聚集 数据归约 简化数据、但产生同样或相似的结果6  数据预处理的形式 Data cleaning Dt;inte比r;tio 》at:t::sr:ti 2.32,100.50.48 D2.0.32.1.O0.0.59.O.48 Data reductio