数据DATA挖掘——数据DATA预处理.pptVIP

数据挖掘与知识发现（复杂数据对象的数据挖掘与知识发现） 数据挖掘的困难所在 Noise Skewed distribution Missing values (incomplete info) Scalability High dimensionality Bias in data ... 预处理在知识发现中所占份量 预处理 各种不同的数据源和数据对象 数据的选择、集成与整合，对问题进行限定 数据库中的数据具有噪声、缺值、不易至 数据的去噪和规范化问题，提高挖掘精度 数据的变换 规范化、映射到不同的空间，提高挖掘效率 数据的规约 取出冗余、属性聚类来压缩数据 数据的预处理是KDDDM的重要步骤 预处理的基本功能 预处理主要是接受并理解KDD要求，确定发现任务 抽取与发现任务相关的数据源，根据背景知识中的约束性规则对数据进行合法性检查 通过清理和归约等操作，生成供挖掘核心使用的目标数据。 它汇集了原始数据库中与发现有关的所有数据的总体特征，是知识发现状态空间的基底。 4 数据挖掘的预处理 4.1数据选择与集成 4.2数据清理 4.4数据归约 4.4数据变换 4.5数据离散 4.1 数据选择 分析需求和应用，了解业务背景 确定分析主题 数据库或数据仓库中选择索要分析的数据 利用数据转换工具进行分析处理 4.1 数据集成