基于任务合并的并行大数据清洗过程优化-计算机学报.pdfVIP

第 卷 第 期 计 算 机 学 报 ３９ １ 　 　　 　　 　　 　　 Ｖｏｌ．３９ Ｎｏ．１ 年 月 ２０１６ １ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１６ 　 基于任务合并的并行大数据清洗过程优化 ），） ） ） ） ） １ ２ １ １ １ １ 杨东华 李宁宁 王宏志 李建中 高 宏 　 　 　 　 　 １）（哈尔滨工业大学计算机科学与技术学院 哈尔滨 １５０００１） 　 　 ２）（哈尔滨工业大学基础与交叉科学研究院 哈尔滨 １５０００１） 　 　 摘 要 数据质量问题会对大数据的应用产生致命影响，因此需要对存在数据质量问题的大数据进行清洗． 　 　 ＭａＲｅｄｕｃｅ编程框架可以利用并行技术实现高可扩展性的大数据清洗，然而，由于缺乏有效的设计，在基于 ｐ 的数据清洗过程中存在计算的冗余，导致性能降低 因此文中的目的是对并行数据清洗过程进行优化 ＭａＲｅｄｕｃｅ ． ｐ 从而提高效率 通过研究，作者发现数据清洗中一些任务往往都运行在同一输入文件上或者利用同样的运算结果， ． 基于该发现文中提出了一种新的优化技术———基于任务合并的优化技术 针对冗余计算和利用同一输入文件的简 ． 单计算进行合并，通过这种合并可以减少ＭａＲｅｄｕｃｅ的轮数从而减少系统运行的时间，最终达到系统优化的目标． ｐ 文中针对数据清洗过程中多个复杂的模块进行了优化，具体来说分别对实体识别模块、不一致数据修复模块和缺 失值填充模块进行了优化 实验结果表明，文中提出的策略可以有效提高数据清洗的效率 ． ． 关键词 大数据；多任务优化；海量数据；数据清洗； ； Ｈａｄｏｏ ＭａＲｅｄｕｃｅ 　 ｐ ｐ 中图法分类号 号 ／ ＴＰ３１１ 犇犗犐 １０．１１８９７ＳＰ．Ｊ．１０１６．２０１６．０００９７ 　　　 犜犺犲犗 狋犻犿犻狕犪狋犻狅狀狅犳狋犺犲犅犻犇犪狋犪犆犾犲犪狀犻狀 犅犪狊犲犱狅狀犜犪狊犽犕犲狉犻狀 狆 犵 犵 犵 犵 ），） ） ） ） ）