海量劣质数据上冲突消解关键技术的研究.pdfVIP

Classified Index: TP3 15 U.D.C: 004.4 Dissertation for the Master Degree in Engineering RESEARCH ON KEY TECHNOLOGIES OF CONFLICT RESOLUTION ON MASSIVE BAD DATA Candidate ： Jia Li Supervisor ： Prof. Fan Wenfei Academic Degree Applied for ： Master of Engineering Speciality ： Computer Science and Technology Affiliation ： School of Computer Science and Technology Date of Defence ： July, 2013 Degree-Conferring-Institution ： Harbin Institute of Technology 摘 要 摘 要 大数据在广泛的领域形成并且快速的扩张，同时引入了大量劣质数据（错 误的、不一致的数据）。因此数据质量在大数据时代日益显得重要，但是数据质 量系统的定义和方法还不成熟，远远满足不了工业上的需要。海量信息的质量 与数量融合的管理系统、海量信息的数据清洗与容错管理系统应运而生。本文 针对数据清洗的热点领域进行了研究。并且改进了相关方法在实践中不足。本 文主要关注的领域是冲突消解-数据清洗的一个子领域。冲突指不同的数据描述 对同一客观实体的不一致表达。我们的方法具有高效性，广泛适用性。兼顾很 多出现在现实中的复杂情形。本文的主要贡献主要分为三个方面：第一，增量 式的真值发现策略；第二，并行化的真值发现策略；第三，一个冲突消解的完 整的系统框架。简要的说明如下。 首先，真值发现是冲突消解系统的一个关键组成。已有的真值发现在实际 的应用中没有考虑增量的问题，当新来数据时若在所有的输入上重新运行算法 而不是利用已有的计算结果会造成极大的时间浪费，本文在现有研究的基础上 提出了增量式的真值发现和冲突消解策略，在增量冲突算法兼顾了概念偏移的 处理使之能够应对不同的输入场景。 其次，本文还在 Hadoop 上研究了并行化的冲突消解策略，在海量数据上， 单机版的程序满足不了我们对时间的要求，只有在集群上，大型互联网公司才 能够提供大数据上的互联网应用，但是并行化算法和传统算法在思维方式上的 不同也将面临新的问题，我们将一一探讨并解决。 最后，在劣质数据上，不同的数据源可能对同一实体具有不同的描述，当 对他们进行数据集成时就需要冲突消解。冲突消解的最终目标是解决所有数据 的冲突，提高数据本身的质量。冲突消解的核心策略是进行真值发现，当然， 真值发现也可以成为独立的应用。本文提出了冲突消解的一系列定义，定义了 各种冲突的类型及其处理策略，设计并实现了一个冲突消解系统的框架，实验 证明具有很好的清洗效果。 关键词：冲突消解；真值发现；增量；Hadoop ；数据质量；大数据 - I - Abstract Abstract Big data exists in extensive areas and it brings a lot of bad data meanwhile. So, data quality is of more importance in big data generation. But its