数据挖掘概念与技术原书第2版第2章数据预处理1.pptVIP

loess曲线为散布图添加一条平滑的曲线，以便更好的观察两个变量间的依赖模式 Loess (local regression)意指“局部回归”，为了拟合loess曲线，需要两个参数：平滑参数α ，被回归拟合的多项式的阶λ loess曲线 为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成 第二章 数据预处理 业界对数据清理的认识 “数据清理是数据仓库构建中最重要的问题”—DCI survey 数据清理任务 填写空缺的值 识别离群点和平滑噪声数据 纠正不一致的数据 解决数据集成造成的冗余 数据清理 数据并不总是完整的 例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入 引起空缺值的原因 设备异常 与其他已有数据不一致而被删除 因为误解而没有被输入的数据 在输入时，有些数据应为得不到重视而没有被输入 对数据的改变没有进行日志记载 空缺值要经过推断而补上 空缺值 忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属性缺少值的百分比变化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：比如使用unknown或-∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法 如何处理空缺值 噪声：一个测量变量中的随机错误或偏差 引起不正确属性值的原因 数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 其它需要数据清理的数据问题 重复记录 不完整的数据 不一致的数据 噪声数据 分箱(binning): 首先排序数据，并将他们分到等深的箱中 然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑等等 回归 通过让数据适应回归函数来平滑数据 聚类： 监测并且去除孤立点 计算机和人工检查结合 计算机检测可疑数据，然后对它们进行人工判断 如何处理噪声数据 price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34 划分为（等深的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34 数据平滑的分箱方法 通过聚类分析检测离群点，消除噪声 聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点 聚类 回归 x y y = x + 1 X1 Y1 Y1’ 第一步：偏差检测 使用元数据（e.g. 每个属性的域、数值类型、依赖性、分布等） 检查字段过载 检查唯一性规则、连续性规则、空值规则 使用偏差检查工具 数据清理工具：使用简单的领域知识（e.g.邮编、拼写检查）检查并纠正数据中的错误 数据审计工具：通过分析数据发现规则和联系及检测违反这些条件的数据来发现偏差 数据清理做为一个过程 (1) 第二步：数据变换（纠正偏差） 数据迁移工具：允许说明简单的变换 ETL（提取/变换/装入）工具：允许用户通过GUI说明变换 偏差检测和数据变换（纠偏）的迭代执行 强调交互性的清理方法 数据清理做为一个过程 (2) 为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成 第二章 数据预处理 数据集成： 将多个数据源中的数据整合到一个一致的存储中 模式集成： 整合不同数据源中的元数据 e.g. A.cust_id = B.customer_no 实体识别问题： 匹配来自不同数据源的现实世界的实体 e.g. Bill Clinton = William Clinton 检测并解决数据值的冲突 对现实世界中的同一实体，来自不同数据源的属性值可能是不同的 可能的原因：不同的数据表示，不同的度量等等 数据集成 集成多个数据库时，经常会出现冗余数据 对象识别：同一属性或对象在不同的数据库中会有不同的字段名 可导出数据：一个属性可以由另外一个表导出，如“年薪” 有些冗余可以被相关分析检测到 仔细将多个数据源中的数据集成起来，能够减少或避免结果数据中的冗余与不一致性，从而可以提高挖掘的速度和质量。 处理数据集成中的冗余数据 Χ2 (chi-square)测试 Χ 2的值越大，意味着两个变量相关的可能性越大 期望值和观测值之间相差越大，值也将越大 相关性不意味着因果关系 e.g. 我们发现一个地区的医院数和汽车盗窃数相关 两者都必然的关联到第三个属性：人口 分类（离散）数据的相关性分析 数据变换将数据转换或统一成适合挖掘的形式 平滑：去除数据中的噪声 聚集：汇总，