CH3--第4讲重复数据及消除.pptVIP

11111111111111111111111111111 重复数据的消除 脏数据形成的原因 滥用缩写词 数据输入错误 数据中的内嵌控制信息 不同的惯用语（如：ASAP对“at first chance”) 重复记录 丢失值 拼写变化 不同的计量单位 过时的编码 数据清理的重要性 脏数据的普遍存在，使得在大型数据库中维护数据的正确性和一致性成为一个及其困难的任务。 垃圾进、垃圾出。 数据清理研究现状 数据清理常常与数据仓库、数据挖掘和数据集成的研究联系在一起。 近年来在数据库研究团体中得到了广泛的关注。 主要集中在模式集成问题的研究，如集成框架、中间件系统(mediator systems)、模式冲突解决方案。 很少涉及实例层次的研究。 数据清理处理内容 重复数据清除概念模型 数据清理有效性的度量标准 数据清理过程存在的问题和困难 现存的数据清理方法 脏数据的预处理 排序邻居方法(Sorted neighborhood method,SNM) 优先排队算法 多次遍历数据清理方法 基于知识的方法进行重复数据的消除 三个阶段 规则的分类 基于知识方法的好处 应用商业规则进行数据清理，这些规则相对比较稳定不需经常变化和修改。 解决了recall-precision的矛盾 采用不确定因子减少false-positive 错误。 Duplicate Elimination 格式标准化 异常数据清除 错误纠正 重复数据的清除 返回率（Recall） 定义：重复数据被正确识别的百分率 例子：假定有7个记录A1,A2,A3,B1,B2,B3,C1,其中{A1,A2,A3}和{B1,B2,B3}分别是记录A和B的不同表示。如果清理过程识别出{A1，A2，C1}和{B1，B2}，那么Recall值为4/6*100%=66.7% False-Positive Error 定义：错误地作为重复数据的记录的百分比。 False-Positive Error= 精确度(Precision) Precision=100%-False-Positive Error 不确定性和风险性 很难确定两个不完全相同的记录是否表示同一个实体，即使它们非常相近。 结果的确认 很难找出真正的重复记录数，这样有效性的度量很难得到。 数据库相关 清理算法的性能跟数据库密切相关。 脏数据的预处理 排序邻居方法 优先排队算法 多次遍历数据清理方法 增量数据清理 采用领域知识进行清理 领域无关的数据清理 采用数据库管理系统的集成数据清理 扩展SQL进行数据清理过程 方便用户的使用 存在优化问题 先于数据清理过程 使数据更加规范化和一致，获得更好的结果 包含外部参考文件，如缩写标准表。 SNM方法包括三个步骤 创建关键字：依赖于领域知识中的错误模型。 排序数据 合并 SNM方法的缺点 结果与所采取的关键字密切相关。 “Window size”问题 将各个记录根据相似性程度归入不同的队列中 减少了比较的次数 照样存在“Window size”问题 每次排序选用不同的关键字 减少错过重复数据的机会 选择关键字比较简单 可以采用传递闭包（transitive closure) 将相似记录合并成一个组 增加false-positive error 预处理阶段 数据类型检查 数据格式规范化 不一致的缩写 处理阶段 将预处理后的数据通过专家系统引擎和一系列的规则进行处理。 人工检验和确认阶段 处理规则无法处理的重复记录 重复识别规则(Duplicate identification)：指定两个两个记录为相似记录的条件。 合并/清除规则（Merge/purge） ：指定对两个重复记录如何进行处理。 更新规则(Update rules)：在特殊情况下更新数据的方法。 警报规则（Alert rules）:当一个特定的事件发生时发出警报。 原因分析会的建议措施 建议措施中每项活动 预防缺陷信息必须管理和控制* * * Page * Barry Goffe Visit Virtual VBITS at: