数据挖掘-第三节.pdf

数据挖掘 北京邮电大学软件学院 牛琨 niukun@ 2012.10 北京 主要内容  1. 概述  2. 数据仓库与OLAP相关  3. 数据挖掘主要技术 4. 数据挖掘的典型应用  5. 数据挖掘工具 2 3. 数据挖掘技术 3.1 数据预处理 (Preprocessing) 3.2 聚类 （Clustering ） 3.3 分类 （Classification ） 3.4 关联 （Association ） 3.5 预测 （Prediction ） 3 数据预处理 为什么要进行数据预处理 数据清理 数据集成和变换 数据归约 数据离散化 4 为什么要进行数据预处理? 现实世界中的数据大多是”脏”数据  不完整 ：缺少属性值或某些感兴趣的属性，或仅包含聚集数据  e.g., occupation=“ ”  含噪声 ：包含错误或存在偏离期望的离群值  e.g., Salary=“- 10”  不一致 ：例如，用于商品分类的部门编码存在差异  e.g., Age=“42” Birthday=“03/07/1997”  e.g., Was rating “1,2,3”, now rating “A, B, C”  e.g., discrepancy between duplicate records 5 为什么数据预处理是重要的? 没有数据质量的保证，就没有挖掘结果的保证!  正确的决策必须基于高质量的数据  e.g., duplicate or missing data may cause incorrect or even misleading statistics.  数据仓库需要一致的完整数据 数据抽取、清洗和转换在构建数据仓库过程中占有重要 地位。 6 数据预处理中的主要任务 数据清洗  数据清洗例程通过填写缺失值、光滑噪声数据、识别或删除离群 点并解决不一致性来“清理”数据。 数据集成  假定在分析中包含来自多个数据源的数据。这涉及集成多个数据 库、数据立方体或文件，即数据集成。 数据转换  数据转换操作，如规范化和聚集，是导向挖掘过程成功的预处理 过程。 7 数据预处理中的主要任务 数据归约  数据归约得到数据集的简化表示，它小得多，但能够产生同样的 (或几乎同样的)分析结果。 数据离散化  数据离散化是一种数据归约形式，对于从数值数据自动地产生概 念分层是非常有用的。 8