第三章 数据预处理.pptVIP

主要内容 3.1 数据预处理：概述 3.2 数据清理 3.3 数据集成 3.4 数据规约 3.5 数据变换与数据离散化 现实世界的数据 不完整的 缺少属性值或某些感兴趣的属性，或仅包含聚集数据。 含噪声的 包含错误或存在偏离期望的离群值。 不一致的 采用的编码或表示不同，如属性名称不同 冗余的 如属性之间可以相互导出 数据预处理的形式 数据预处理的形式 现实世界的数据一般是脏的、不完整的和不一致的。 数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。 检测异常数据、尽早地调整数据并归约待分析的数据，将在决策过程中得到高回报。 3.2数据清理 现实世界的数据一般是不完整的、有噪声的和不一致的。 数据清理的任务： 填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。 3.2.2 噪声数据 噪声是被检测的变量的随机误差或方差。 引起噪声数据的原因 数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 分箱法光滑数据 price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34 划分为（等频的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34 3.2.2 噪声数据 回归：用一个函数（回归函数）拟合数据来光滑数据。 线性回归 多元线性回归 聚类：将类似的值聚集为簇。落在簇集合之外的值被视为离群点。 回归Regression 聚类Cluster Analysis 3.2.3 数据清理作为一个过程 偏差检测 使用“元数据” 编码使用的不一致、数据表示的不一致、字段过载等 一些规则：唯一性规则、连续性规则、空值规则。 商业工具：数据清洗工具、数据审计工具 3.2.3 数据清理作为一个过程 数据变换（纠正偏差） 数据迁移工具允许说明简单的变换，如将串“gender”用”sex“替换。 ETL(Extraction/Transformation/Loading) （提取/变换/装入） ETL工具允许用户通过图形用户界面（GUI）说明变换。 3.2.3 数据清理作为一个过程 加强交互性 数据清理工具：Potter’s Wheel，一种公开的数据清理工具，它集成了偏差检测和数据变换。 开发数据变换操作规范说明语言：这种工作关注定义SQL（结构化查询语言，是一种数据库查询和程序设计语言）的扩充和使得用户可以有效地表达数据清理具体要求的算法。 3.3 数据集成 数据集成合并多个数据源中的数据，存放在一个一致的数据库（如数据仓库）中。 源数据可能包括多个数据库，数据立方体或一般文件。 数据变换将数据转换或统一成适合于挖掘的形式。 3.3.2 冗余和相关分析 一个属性（如：年收入）如果能由另一个或另一组属性”导出“，则这个属性可能是冗余的。属性或维命名的不一致也可能导致结果数据集中的冗余。 有些冗余可以被相关分析检测到 标称数据: 卡方检验 数值属性：相关系数和协方差，他们都评估一个属性的值如何随另一个变化。 1、标称数据的 检验 1、标称数据的 检验 2、数值数据的相关系数 3. 数值数据的协方差 例3.2 数值属性的协方差分析 例3.2 数值属性的协方差分析 E（ ALLElectronics）= 美元 E(HighTech)= 美元 Cov(ALLElectronics, HighTech)= 3.4 数据归约 数据归约策略： （1）维规约：减少所考虑的随机变量或属性的个数。小波变换、主成分分析。 （2）数量规约：用替代的、较小的数据表示形式替换原数据。存放数据规约表示的非参数方法包括直方图、聚类、抽样和数据立方体聚集。 （3）数据压缩：使用变换，以便得到原数据的规约或“压缩”表示。 主成分分析 主成分分析或PCA搜索k个最能代表数据的n维正交向量，其中 这样，原数据投影到一个小得多的空间上，导致维规约。与属性子集选择通过保留原属性集的一个子集来减少属性集的大小不同，PCA通过创建一个替换的、较小的变量集“组合”属性的基本要素。 属性子集选择 通过删除不相关或冗余的属性（或维）减小数据集。 其目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。 通过穷举搜索找出有属性的