AzszpClean一种基于规则数据清洗方案.pdfVIP

AzszpClean:一种基于规则的数据清洗方案一种基于规则的数据清洗方案 一种基于规则的数据清洗方案一种基于规则的数据清洗方案 李俊奎，王元珍，李专 华中科技大学数据库与多媒体研究所，湖北武汉 (430074) E-mail：jkltk2000@126.com 摘摘 要：要：数据清洗是提高数据集成数据质量的一个重要手段。提出了一种基于动态规则的数 摘摘 要要：： 据清洗方案 AzszpClean ，这种方法对各种清洗规则进行动态编译，将数据转换和数据清洗 两者结合起来，强化清洗过程的描述能力，同时采用规则队列的方式实现批量规则匹配。实 际应用表明，AzszpClean 方法可以完成硬编码的功能，但具有更高的实现效率。 关键词关键词：：数据清洗 ，动态规则编译，规则队列 关键词关键词：： 中图分类号中图分类号：：TP331 中图分类号中图分类号：： 1. 引引 言言 引引 言言 在数据仓库构建过程中，对不同数据源数据的集成是其中的关键环节之一。而由于数据 源或者由不同的用户定义，或者存在于不同的使用环境，来源于这些数据源的数据存在许多 的不一致情形，对这些不一致/错误的数据进行处理是构建数据仓库的一个挑战。一般在数 据集成过程中，会对数据进行转换和清洗，以提高数据的质量。 数据清洗的过程是从大量原始数据中使用一系列逻辑判断，检查数据是否是符合数据仓 库的数据，从而选择做进一步保留或过滤的动作。在数据清洗前又往往需要对数据进行转换， 因此数据清洗的过程成为数据集成的一个重要步骤，同时也是其中的一个复杂的过程，迫切 需要构建自动化工具来完成。 当前对数据清洗已经有一些研究，文献[2]中提出了清洗规则的概念，指出可以使用定 义清洗规则的方式完成数据清洗；文献[3]中综述了数据清洗中用到的相关技术；文献[4]中 实现了一个领域驱动的数据质量工具；文献[6]中实现了一个基于规则引擎 Drools 的清洗方 法，清洗规则的定义需要大量 XML 配置文件的操作；文献[5]中指出，目前数据清洗的主要 问题是：对数据的检查和修复的动作或者使用硬编码，或者只是由人工来判断。在使用硬编 码的方式下，需要清洗的数据定义不发生变化，而一旦变化则需要重新修改清洗部分的代码， 重新编译，导致系统的可扩展性和灵活性较差，而且硬编码的清洗过程描述性较弱，难以应 对复杂逻辑的数据清洗；在使用人工判断的情形下，只能处理较小的数据量，不仅增加了人 们的工作量，而且质量和准确性较差，对于大规模的数据清洗则无能为力。 本文在进行 DM-Azszp(DM-Azszp 是安全智能数据整合平台的项目代号，该项目包含一 个数据集成的中间件)项目中，提出了一种AzszpClean 的数据清洗方法，集数据转换和数据 清洗为一体，采用清洗规则的方式完成，相比目前基于规则的数据清洗方案，本方案具备如 下特点： (1)采用规则的动态编译方法。不仅具备坚实的编译理论基础，而且通过扩展编译语法 的方式，容易实现规则的扩充和修改； (2)实现规则的零配置。与需要各种繁杂配置工具不同，规则采用的字符串脚本的方式， 可以很容易存入数据库，不需要额外进行规则配置，方便了系统的部署以及在使用不同任务 的使用； (3)实现规则队列，通过批量规则匹配，统一了规则的匹配和校验； 基金项目基金项目: 国家发展与改革委员会 “安全智能数据整合平台开发及产业化”项目 （项目编 [2005]538 号） 基金项目基金项目 - 1 - (4)规则解析语法已经涵盖了数据的转换，省去了传统数据清洗前的数据转换步骤，过 程更加清晰。 本文其余部分如下组织 ：第 2 节给 出数据清洗的相关定义和主要过程；第