数据预处理技术.pptVIP

知识管理与数据分析实验室 知识管理与数据分析实验室 数据预处理技术 汇报人：王静 * * 知识管理与数据分析实验室 主要内容 数据预处理的产生及意义 数据预处理的方法 数据清理 数据集成 数据变换 数据归约 * 知识管理与数据分析实验室 * 为何要进行数据预处理 与现实世界有关 数据库太大，信息多而杂 数据易受噪声数据、空缺数据和不一致性数据的侵扰 提高数据质量，提高挖掘结果的质量 使挖掘过程更有效、更容易 * 知识管理与数据分析实验室 * 数据预处理的形式 * 知识管理与数据分析实验室 * 数据预处理的方法——数据清理 数据清理原因：现实世界的数据一般是脏的、不完整和不一致的。 数据清理对象： 错误数据 缺失数据 噪声数据 * 知识管理与数据分析实验室 * 数据预处理的方法——数据清理 * 知识管理与数据分析实验室 * 数据预处理的方法——数据清理 错误数据: 对带有错误的数据元组，结合数据反映的实际问题，进行分析、更改或删除或忽略。同时也可结合模糊数学的隶属函数寻找约束函数，根据前一段历史数据趋势对当前数据进行修正。 缺失数据: 若数据属于时间局部性缺失，则可采用近阶段数据的线性插值法进行补缺； * 知识管理与数据分析实验室 * 数据预处理的方法——数据清理 若属于数据的空间缺损，则用其周围数据点的信息来代替，且对相关数据作备注说明，以备查用； 使用一个全局常量