第2章 数据预处理.pdf

数据挖掘 第二章 数据预处理 由于数据库系统所获数据量的迅速膨胀（已达 或 数量级），从而导致了 现实世界数据库中常常包含许多含有噪声、不完整（ ）、甚至是不一致 （ ）的数据。显然对数据挖掘所涉及的数据对象必须进行预处理。那 么如何对数据进行预处理以改善数据质量,并最终达到完善最终的数据挖掘结果 之目的呢？ 数据预处理主要包括:数据清洗 （ ）、数据集成 （ ）、 数据转换（ ）和数据消减（ ）。本章将介绍这四种 数据预处理的基本处理方法。 数据预处理是数据挖掘（知识发现）过程中的一个重要步骤，尤其是在对包 含有噪声、不完整，甚至是不一致数据进行数据挖掘时，更需要进行数据的预处 理，以提高数据挖掘对象的质量，并最终达到提高数据挖掘所获模式知识质量的 目的。例如：对于一个负责进行公司销售数据分析的商场主管，他会仔细检查公 司数据库或数据仓库内容，精心挑选与挖掘任务相关数据对象的描述特征或数据 仓库的维度（ ），这包括：商品类型、价格、销售量等,但这时他或许 会发现有数据库中有几条记录的一些特征值没有被记录下来；甚至数据库中的数 据记录还存在着一些错误、不寻常（ ）、甚至是不一致情况,对于这样的数 据对象进行数据挖掘,显然就首先必须进行数据的预处理,然后才能进行正式的 数据挖掘工作。 所谓噪声数据是指数据中存在着错误、或异常（偏离期望值）的数据；不完 整（ ）数据是指感兴趣的属性没有值；而不一致数据则是指数据内涵 出现不一致情况（如：作为关键字的同一部门编码出现不同值）。而数据清洗是 指消除数据中所存在的噪声以及纠正其不一致的错误；数据集成则是指将来 自多 个数据源的数据合并到一起构成一个完整的数据集；数据转换是指将一种格式的 数据转换为另一种格式的数据；最后数据消减是指通过删除冗余特征或聚类消除 多余数据。 不完整、有噪声和不一致对大规模现实世界的数据库来讲是非常普遍 的情 况。不完整数据的产生有以下几个原因：（ ）有些属性的内容有时没有，如：参 与销售事务数据中的顾客信息 ；（ ）有些数据当时被认为是不必要的；（ ）由于 数据挖掘 第二章 数据预处理 误解或检测设备失灵导致相关数据没有记录下来；（ ）与其它记录内容不一致而 被删除；（ ）历史记录或对数据的修改被忽略了。遗失数据（ ），尤 其是一些关键属性的遗失数据或许需要推导出来。噪声数据的产生原因有：（ ） 数据采集设备有 问题；（ ）在数据录入过程发生 了人为或计算机错误；（ ）数据