大数据云清洗系统的设计与实现.docVIP

大数据云清洗系统的设计与实现 　　摘 要：数据清洗时是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过Map-Reduce计算模型，该系统能够检测并修复数据质量方面的各类问题。该系统包含以下特征：（1）支持数据质量方面各类问题的清洗工作；（2）数据云清洗进度可视化的以及参数设置；（3）友好的数据集输入接口以及清洗后的数据集输出接口。该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统。 　　关键词：大数据；数据质量；云清洗；Map-Reduce 　　中图分类号：TP391 文献标识号：A 　　Design and Implementation of Cloud Clean System on Big Data 　　HUANG Shenbin1 ， WANG Haijie1 ， ZHU Zhenhua2 　　（1 Network and Information Center， Harbin Institute of Technology， Harbin 150001， China； 　　2 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China） 　　Abstract： Data cleaning is one of the central issues in big data. The paper describes a cloud clean system based on Hadoop for data cleaning. Using Map-Reduce model， the system detects and repairs various data quality problems in big data. The paper designs the system from the following features： （1） the support for cleaning multiple data quality problems in big data； （2） a visual tool for watching the status of big data cleaning process and tuning the parameters for data cleaning； （3） the friendly interface for data input and setting and cleaned data collection for big data. The cloud clean system is a promising system that provides efficient and effect data cleaning mechanism for big data in either files or database. 　　Keywords： Big Data； Data Quality； Cloud Clean； Map-Reduce 　　0 引 言 　　大数据已经广泛地应用于各个领域，其数据质量问题逐渐被人们所关注。这主要是由两方面的因素导致的：一方面大数据由海量的数据源获得，不同的数据来源使其更可能存在不一致冲突和不完整性；另一方面则是因为大数据频繁地变化且难以手动地获取。数据质量问题严重影响着大数据应用的效率，因为低质量数据上的分析和查询容易导致错误结果或者误导性的决策。数据清洗无疑能够提升大数据的利用效率。本文设计并实现了一个大数据云清洗系统，提取了数据清洗任务中的基本操作并基于Map-Reduce[1]计算框架实现相应的算法。该系统对多种数据清洗任务均有可观的性能。 　　1相关工作 　　虽然已经有很多数据清洗的技术和算法被相继提出，但却并非都适用于大数据上。主要原因如下。 　　首先，现有的数据清洗算法的效率并不能满足大数据的需求。并行计算是大数据算法的一个常用手段。然而，除了少数实体识别的算法[2-3]外，几乎没有其他的并行数据清洗算法获得提出。具有多种数据质量问题的大数据清洗工作的整体效率往往也都不高。 　　其次，现有的数据清洗系统[4-7]集中于数据质量的某一方面。NADEEF[8]支持各种形式的规则，但是缺少数据清洗领域的一些重要问题如缺值填充和冲突属性的真值发现等。对于具有多种数据质量问题的大数据而言，这往往是不够高效的。究其原因，一方面多种数据质量问题需要多个不同的系统来完成各自的数据清洗工作，从而导致清洗过程需要多次的