分布式数据不一致性检测的实现与优化.docVIP

分布式数据不一致性检测的实现与优化 　　摘 要：数据的不一致性检测是数据清洗中一个重要的主题。传统集中式数据的不一致性检测问题可以使用基于SQL的技术得到解决，而对于分布式的数据，往往面临着诸多挑战。目前研究者提出了基于函数条件依赖的不一致性检测技术对该问题进行了深入研究，将分布式不一致性检测问题转化成最优化问题，并提出了若干可行的解决算法。本文介绍了分布式数据下的基于函数条件依赖的不一致性检测问题，并实现了基于最优化问题的分布式检测算法，最后组织相关实验进行验证和改进。 　　关键词：分布式数据；不一致性；条件函数依赖；最优化 　　中图分类号：TP391文献标识号：A 　　Inconsistency Detection in Distributed Data： Implement， Meliorate 　　WANG Haijie1，HUANG Shenbin1， ZHU Zhenhua2 　　（1 Network and Information Center， Harbin Institute of Technology， Harbin 150001， China； 　　2 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China） 　　Abstract： Detecting inconsistency is one of the central issues in data cleaning. There have been effective methods based on SQL techniques to detect inconsistency in centralized database. However， it’s far more challenging when the database is distributed. There have been some studies on data inconsistency that is based on conditionalfunctionaldependency， formulating the inconsistency detecting problems as optimization problems， in which several effective algorithms were developed. This paper introduces the detection problem of inconsistency on distributed data， which is based on the conditional functional dependencies. Then， the paper develops the characterizations of the conditional functional dependencies， the fragment of dataset and the optimization problem and relevant algorithms of inconsistency detection. Finally， the paperorganizes several experiments to verify and meliorate these algorithms. 　　Keywords： Distributed Data； Inconsistency； Conditional FunctionalDependency； Optimizations 　　0 引言 　　数据库技术和系统已成为信息化社会基础建设的重要支撑[1]，数据质量问题也随即逐渐获得了人们的瞩目和关注。最近统计表明，美国企业每年花费数十亿美元用于处理脏数据[2]。数据清洗是一个密集且复杂的过程，据研究估计，一个典型的数据仓储项目研发中约有30%～80%的时间是在进行数据清洗。数据清洗问题中的一个重要主题就是数据的一致性，因而其在数据质量中也有着关键性的核心位置。 　　数据管理中一个重点技术问题就是信息来源可能隐含的冲突性。这些冲突将会体现在不同的层次上：关系模式的冲突、数据表现的冲突、数据取值的冲突[3]。而数据的不一致性，则常常用来描述这些冲突。不一致性的检测就是数据质量和数据清洗中核心焦点问题之一。 　　对于传统的集中式数据库，数据的不一致性已开发有较为成熟的基于SQL的检测技术。然而，当数据关系零散地分布在不同站点之间，现有技