一种基于MapReduce的大数据集相似自连接算法.pdfVIP

第44卷第5期 计算机科学 V01．44No．5 2017年5月 COMPUTERSCIENCE 2017 May 一种基于MapReduce的大数据集相似自连接算法 孙德才1 王晓霞2 (渤海大学信息科学与技术学院 锦州121013)1(渤海大学大学基础教研部 锦州121013)2 摘要如何快速发现数据集中重复或相似的记录是大数据处理技术中的一个基本问题。相似连接是一种有效的相 似数据查找方法，且基于MapReduce的相似连接算法因对大数据集的处理能力强而得到广泛关注。通过分析当前相 似连接算法进行自连接时存在的自连接冗余、读取原字符串复杂等问题，在Massjoin算法的基础上提出了一种改进 的基于MapReduce的自连接算法。改进算法在过滤阶段增加了消除自身冗余的过滤条件，在验证阶段又采用了生成 正反候选对和组合id等去冗余技术，并且读取原始字符串内容时只需读取数据集一次。实验数据显示，改进算法无 论在过滤阶段还是在验证阶段都减少了算法的CPU时耗，结果表明所提改进策略是有效的。 关键词相似连接，大数据，MapReduce，数据清洗 DOI 2017．05．004 中图法分类号TP391文献标识码A 10．11896／j．issn．1002—137X Based for Dataset MapReduceSimilaritySelf-joinAlgorithmBig SUN De-cailWANGⅪaO-xia2 ofInformationScienceand 121013。C}lina)1 (College Technology，BohaiUniversity，Jinzhou and Instituteof (ResearchTeaching Basics，Bohai 121013，CWm)2 College University，Jinzhou AbstractHowtofindout indatasetisa issuein data isavia- duplicates／similaritieskey big processing．Similarityjoin lid similarities，and basedon hasattractedseriousconcern operationfor硒ding similarityjoinalgorithmMapReduce for the In of datasetthis wereresearchedandSOmefacmrs advantageprocessingbig paper，similarityself-joinalgorithms whichslow werediscovereToaccelerate basedon se