(精选)数据挖掘原理、 算法及应用第2章 数据预处理课件.ppt

第2章　数据预处理  ;2.1　数据预处理的目的 ;　　数据含噪声可能有多种原因： 数据采集设备可能出故障； 在数据录入过程中发生了人为的或计算机导致的错误； 可能由于技术的限制， 数据传输过程中出现错误； 不正确的数据也可能是由命名或所用的数据代码不一致而导致的。 重复元组有时也需要进行数据清理。  　　数据清理(Data Cleaning)例程通过填补空缺数据平滑噪声数据，识别、删除孤立点，并纠正不一致的数据。异常数据可能使挖掘过程陷入混乱，导致不可靠的输出。 ;　　数据集成(Data Integration)指将来自不同数据源的数据合成一致的数据存储。  　　数据变换(Data Transformation)操作，如规格化和聚集， 是将数据转换成适于挖掘的形式的预处理过程。  　　数据归约策略有助于从原有的庞大的数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性。 在精简数据集上进行的数据挖掘显然效率更高，并且挖掘结果与使用原有数据集的结果基本相同。概化也可以“归约”数据。 概化用较高层的概念替换较低层的概念。;　　总之， 数据源中的数据一般是含噪声的、 不完整的和不一致的。 数据预处理技术可以改进数据的质量， 从而改善挖掘过程的性能， 提高挖掘结果的质量。 高质量的决策必然依赖于高质量的数据， 因此数据预处理是知识发现过程的重要步骤。 ;2.2　数据清理 ; 　　(3) 使用一个全局常量填充空缺值， 即对一个属性的所有空缺值都使用一个事先确定好的值 (如 “OK”或-∞)来填补。 虽然此方法比较简单， 但并非总是正确的，例如空缺值都用“OK”替换， 挖掘程序可能误以为它们形成了一个有趣的模式。  　　(4) 使用属性的平均值填充空缺值。 例如， 若一个顾客的平均收入(income)为16 000元， 则用此值填补income属性中的所有空缺值。;　　(5) 使用与给定元组属同一类的所有样本的平均值。 例如， 在分类挖掘中， 使用与给定样本属于同一类的其他样本的平均值来填充空缺值。  　　(6) 使用最可能的值填充空缺值： 可以用回归、 贝叶斯形式化方法的工具或判定树归纳确定最有可能的值。 当有空缺值的数据不是孤立??时， 此方法有较高的准确性。 ;2.2.2　噪声数据 　　噪声(Noise)是一个测量变量中的随机错误或偏差。 下面介绍四种数据平滑技术。 ;　　1. 分箱(Binning) 　　分箱方法通过考察“邻居”(即周围的值)来平滑存储数据的值。 存储的值被划分到若干个箱或桶中。 由于仅考察被平滑点邻近的数据， 因此分箱方法进行的是局部平滑。 例2.1展示了一些分箱技术。 在该例中， score数据首先被划分并存入等深(每个箱中的数据个数相等)的箱中。 平均值平滑是指将同一箱中的数据全部用该箱中数据的平均值替换。;　　例如， 箱1中的值60, 65, 67的平均值是64， 那么该箱中的每一个值被替换为64。 类似地， 可以使用按箱中值平滑， 此时， 箱中的每一个值被箱中的中值替换； 按箱边界平滑， 箱中的最大和最小值被视为箱边界， 箱中的每一个值被最近的边界值替换。 分箱技术可以采用等深和等宽的分布规则对数据进行平滑， 等深指每个箱中的数据个数相同， 等宽指每个箱的取值范围相同。 分箱也可以作为一种离散化技术使用。 ;【例2.1】[ST][HT]　 score排序后的数据(分): 60, 65, 67, 72, 76, 77, 84, 87, 90 划分为(等深，深度为3)箱(桶)： 箱1: 60, 65, 67 箱2: 72, 76, 77 箱3: 84, 87, 90;采用分箱平滑技术后， 用平均值平滑得： 箱1: 64, 64, 64 箱2: 75, 75, 75 箱3: 87, 87, 87 用边界值平滑得： 箱1: 60, 67, 67 箱2: 72, 77, 77 箱3: 84, 84, 90 ;　　2. 聚类(Clustering) 　　孤立点可以被聚类检测。 通过聚类可以发现异常数据(Outliters)， 相似或相邻近的数据聚合在一起形成了各个聚类集合， 而那些位于聚类集合之外的数据， 自然被认为是异常数据(孤立点)。 直观地看， 落在聚类集合之外的值被视为孤立点， 如图2-2所示。 孤立点将被视为噪声数据而消除。 ;图2-2　孤立点可以被聚类分析检测;　　3. 计算机检查和人工检查结合 　　通过人与计算机相结合的检查方法， 可以帮助识别孤立点。 例如， 利用机遇信息论方法可以帮助识别用于手写符号库中的异常模式， 所识别出的异常模式可以输出到一个列表中， 然后由人对这一列表中的各异常模式进行检查， 并最终确认无用