BMGSJoin：一种基于MapReduce的图相似度连接算法.pdfVIP

第28 卷 第5 期 模式识别与人工智能 Vol.28 No.5 2015年5月 PR AI May 2015 BMGSJoin:一种基于MapReduce 的 * 图相似度连接算法 陈一帆 赵 翔 何培俊 张维明 唐九阳 (国防科学技术大学 信息系统工程重点实验室 长沙410073) 摘 要 图相似度连接在数据挖掘领域应用广泛,尤其是在数据预处理阶段,可用于数据清理、近复本检测等,其 研究具有十分重要的意义.针对基于编辑距离约束的图相似度连接问题进行研究,返回两个图集合中所有编辑距 离不超过给定阈值的图对.基于分布式编程框架MapReduce,设计采用“过滤-验证”框架的MGSJoin算法,利用基 于路径的q-gram签名实现非解候选对的过滤,计数过滤.鉴于该算法键值对数量庞大的潜在问题,引入Bloom Filter 技术对算法进行改进并设计BMGSJoin算法.实验结果表明,提出的两种图相似度连接算法能较大地改善现有算法 的效率和可扩展性,并能较好地应对当前大数据挖掘分析的需求. 关键词 图相似度连接,MapReduce,布隆过滤器 中图法分类号 TP391.4 DOI 10.16451/ ki.issn1003-6059.201505011 BMGSJoin:A MapReduce Based Graph Similarity Join Algorithm CHEN Yi-Fan,ZHAO Xiang,HE Pei-Jun,ZHANG Wei-Ming,TANGJiu-Yang (Science and Technology on Information System and Engineering Laboratory,National University of Defense Technology,Changsha410073) ABSTRACT Graph similarityjoinhasextensiveuseinthefieldof datamining,especially indatapre-processing, it could be applied to data cleaning,near duplicate detection,etc. Thu