数据预处理研讨.ppt

主要内容 2.1 为什么要预处理数据 2.2 描述性数据汇总 2.3 数据清理 2.4 数据集成和变换 2.5 数据归约 2.6 数据离散化和概念分层产生 现实世界的数据 不完整的 缺少属性值或某些感兴趣的属性，或仅包含聚集数据。 含噪声的 包含错误或存在偏离期望的离群值。 不一致的 采用的编码或表示不同，如属性名称不同 冗余的 如属性之间可以相互导出 数据错误的危害性 高昂的操作费用 糟糕的决策制定 组织的不信任 分散管理的注意力 数据预处理的形式 小结 现实世界的数据一般是脏的、不完整的和不一致的。 数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。 检测异常数据、尽早地调整数据并归约待分析的数据，将在决策过程中得到高回报。 2.2 描述性数据汇总 获得数据的总体印象对于成功的数据预处理是至关重要的。 描述性数据汇总技术可以用来识别数据的典型性质，突显哪些数据值应当视为噪声或离群点。 动机：更好的理解数据。 主要内容：度量数据的中心趋势和离散程度、描述数据汇总的图形显示。 2.2.1 度量数据的中心趋势 算数平均值 最常用 分布式度量 可以通过如下方法计算度量（即函数）：将数据集划分成较小的子集，计算每个子集的度量，然后合并计算结果，得到原（整个）数据集的度量值。 sum(