数据预处理和清理数据.pptVIP

第一章数据挖掘概述 13数据预处理与清理数据  1为什么需要数据预处理? 2数据清洗 3数据集成与转换 4数据归约 5数据离散化  1为什么需要数据预处理? 在现实社会中,存在着大量的“脏”数据 不完整性(数据结构的设计人员、数据采集设备和数据录入人员) ⊙缺少感兴趣的属性 感兴趣的属性缺少部分属性值 仅仅包含聚合数据,没有详细数据 噪音数据(采集数据的设备、数据录入人员、数据传输) 数据中包含错误的信息 s存在着部分偏离期望值的孤立点 不一致性(数据结构的设计人员、数据录入人员) 数据结构的不一致性 o Labe的不一致性 s数据值的不一致性  s数据挖掘的数据源可能是多个互相独立的数据源 ■关系数据库 ■多维数据库( Data Cube) ■文件、文档数据库 数据转换 ■为了数据挖掘的方便 海量数据的处理 ■数据归约(在获得相同或者相似结果的前提下)  s没有高质量的数据,就没有高质量的挖掘结果 ■高质量的决策必须基于高质量的数据基础上 数据仓库是在高质量数据上的集成  数据预处理的主要任务 数据清理 填入缺失数据 平滑噪音数据 ■确认和去除孤立点 ■解决不一致性 数据集成 ■多个数据库、 Data Cube和文件系统的集成 ⊙数据转换 ■规范化、聚集等 数据归约 ■在可能获得相同或相似结果的