(数据挖掘原理、算法及应用)第2章数据预处理.ppt

2.1　数据预处理的目的 　　数据源中的数据可能不完整(如某些属性值的空缺)、 含噪声(具有不正确的属性值)和不一致(如同一属性的不同名 称)。  　　不完整数据的出现可能有多种原因： 某些数据被认为是不必要的， 如销售事务数据中顾客的信息并非总是可用的； 其他数据没有包含在内， 可能只是因为输入时认为是不重要的； 由于理解错误， 或者因为设备故障相关数据没有记录； 某些记录与其他记录的内容不一致而被删除； 记录历史或修改的数据可能被忽略。 空缺的数据， 特别是某些属性上缺少值的元组可能需要推导。 2.2　数据清理 2.2.1　空缺值 　　空缺值是指所关心的某些属性对应的部分属性值是空缺的。 在数据挖掘过程中， 这些空缺值 会对挖掘结果带来影响， 因此需要进行相应的处理。 主要方法如下： 　　(1) 忽略元组， 即不选择有空缺值的元组。 此方法不是很有效， 除非元组有多个属性缺少值时。  　　(2) 人工填写空缺值。 通常数据挖掘所涉及的数据量较大， 如果空缺值很多， 这种方法比 较费时， 几乎行不通。 2.3　数据集成和数据变换 2.3.1　数据集成 　　数据分析任务多半涉及数据集成。 数据集成将多个数据源中的数据结合起来存放在一个一致的数据存储(如数据仓库)中。 数据源可能涉及多个数据库、 数据立方体或一般文件。 2.4　数据归约 　　数据归约技术可以用