基于任务合并的并行大数据清洗过程优化-中国云计算.pdfVIP

第??卷 第?期 计 算 机 学 报 Vol. ?? No. ? 20??年？月 CHINESE JOURNAL OF COMPUTERS ???. 20?? 基于任务合并的并行大数据清洗过程优化 1),2) 1) 1) 1) 1) 杨东华 李宁宁 王宏志 李建中 高宏 1 (哈尔滨工业大学计算机科学与技术学院，哈尔滨市 中华人民共和国150001) 2 (哈尔滨工业大学基础与交叉科学研究院，哈尔滨市 中华人民共和国150001) 摘 要 数据质量问题会对大数据的应用产生致命影响，因此需要对存在数据质量问题的大数据进行清洗。MapReduce 编程 框架可以利用并行技术实现高可扩展性的大数据清洗，然而，由于缺乏有效的设计，在基于MapReduce 的数据清洗过程中存 在计算的冗余，导致性能的降低。因此本文的目的是对并行数据清洗过程进行优化从而提高效率。通过研究，我们发现数据 清洗中一些任务往往都运行在同一输入文件上或者利用同样的运算结果，基于该发现本文提出了一种新的优化技术——基于 任务合并的优化技术。针对冗余计算和利用同一输入文件的简单计算进行合并，通过这种合并可以减少MapReduce 的轮数从 而减少系统运行的时间，最终达到系统优化的目标。本文针对数据清洗过程中多个复杂的模块进行了优化，具体来说分别对 实体识别模块、不一致数据修复模块和缺失值填充模块进行了优化。实验结果表明，本文提出的策略可以有效提高数据清洗 的效率。 关键字：多任务优化；海量数据；数据清洗；Hadoop ；MapReduce 中图法分类号 TP311.13 DOI 号： The optimization of the Big Data Cleaning based on Task Merging Donghua Yang1),2), Ningning Li 1), Hongzhi Wang1), Jianzhong Li1), Hong Gao1) 1 (Department of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001 ，China) 2 (Academy of Fundamental and Interdisciplinary Sciences , Harbin Institute of Technology, Harbin 150001 ，China) Abstract Data quality issues will result in lethal effects of big data applications, so it is need to clean the big data with the problem of data quality. MapReduce programming framework can take advantage of parallel technology to achieve high scalability for large data cleaning. However, due to the lack of effective design, redundant computation exists in the cleaning process based on MapReduce, resulting in decreased performance. Therefore, the purpose of this paper is to optimize the parallel data cleaning process