第2章数据预处理终稿.pptVIP

第3章 数据预处理 3.1 预处理的必要性 目前，数据挖掘的研究工作大都集中在算法的探讨而忽视对数据处理的研究。事实上，数据预处理对数据挖掘十分重要，一些成熟的算法对其处理的数据集合都有一定的要求：比如数据的完整性好，冗余性小，属性的相关性小等。 数据预处理是数据挖掘的重要一环，而且必不可少。要使挖掘算法挖掘出有效的知识，必须为其提供干净，准确，简洁的数据。然而，实际应用系统中收集的数据通常是“脏”数据 1、杂乱性 如性别： A数据库 male=1 , female=2 B数据库 male=‘男’ ，female=‘女’ C数据库 male=‘M’ , female=‘F’ 2、重复性 同一客观事物在数据库中存在两个以上相同的物理描述 假设某周刊有100000个订户，邮件列表中0.1%的记录是重复的，主要是一个名字有不同的写法 Jon Doe 和John Doe 因此，每周需要印刷和邮寄100份额外的刊物，假设每周的邮寄和印刷费用是两圆，公司每年将浪费10000元以上 3、不完整性 由于实际系统设计时存在的缺陷以及使用过程中的一些人为因素，数据记录可能会出现数据值的丢失或不确定，原因可能有： （1）有些属性的内容有时没有 （家庭收入，参与销售事物数据中的顾客信息） （2）有些数据当时被认为是不必要的 （3）由于误解或检测设备失灵导致相关数据没有记录下来 （4）与其它记录内容不一致而被删除 （5）忽略了历史数据或对数据的修改 4、噪声数据 数据中存在着错误或异常（偏离期望值），血压和身高为0就是明显的错误，当数据缺失且用默认值来填充缺失项时，很容易发生这类错误。 （1）数据采集设备有问题 （2）数据录入过程中发生了人为或计算机错误 （3）传输过程中发生错误 4.2 数据预处理的功能 数据清理（清洗） ------可以去掉数据中的噪声，纠正不一致 数据集成 -----将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库或数据立方体 数据变换（转换） --- 将一种格式的数据转换为另一格式的数据(如规范化) 数据归约（消减） ----可以通过聚集、删除冗余特性或聚类等方法来压缩数据 4.3 数据清理（清洗） 数据清理完成: 填充空缺的值 识别孤立点 消除噪声 纠正数据中的不一致 一、遗漏数据的处理 (1)忽略该元组 若一条记录中有属性值被遗漏了，则将该记录排除在数据挖掘之外；尤其当类标号缺少时通常这样做（假定挖掘任务涉及分类或描述)。当每个属性缺少值的百分比变化很大时，它的性能非常差。 (2)人工填写空缺值 当数据集很大、缺少很多值时，该方法可能行不通。 (3)使用一个全局常量填充空缺值 (4)使用属性的平均值填充空缺值 将空缺的属性值用同一个常数(如“Unknown”或)替换。如果空缺值都用“Unknown”替换，当空缺值较多时。挖掘程序可能误以为它们形成了一个有趣的概念，因为它们都具有相同的值——“Unknown”。因此，尽管该方法简单，我们并不推荐它。 例如，假定AllElectronics顾客的平均收入为$28 000，则使用该值替换income中的空缺值 (5)利用同类别均值填补遗漏数据 例如，如果将顾客按credit risk分类， 则用具有相同信用度的顾客的平均收入替换income中的缺值 (6)使用最可能的值填充空缺值 二、噪声数据 噪声(noise)是一个测量变量中的随机错误或偏差。给定一个数值属性，例如price，我们怎样才能平滑数据，去掉噪声? (1)分箱(binning) 分箱方法通过考察“邻居”(即周围的值)来平滑存储数据的值。存储的值被分布到一些“桶”或箱中。由于分箱方法参考相邻的值，因此它进行局部平滑。下图展示示了一些分箱技术。 (2)聚类(clustering) 通过聚类分析可以检测孤立点，聚类将类似的值组织成群或“聚类”。直观地看，落在聚类集合之外的值被视为孤立点 (3)计算机和人工检查结合