基于MapReduce框架的海量数据相似性连接研究进展.pdfVIP

第42卷 第 1期 计 算 机 科 学 Vo1．42No．1 2015年 1月 Computer Science Jan2015 基于MapReduce框架的海量数据相似性连接研究进展 庞 俊 于 戈 许 嘉。 谷 峪 (东北大学信息科学与工程学院 沈阳 110819) (国防科学技术大学信息系统与管理学院 长沙 410073) 摘 要 海量数据相似性连接作为海量数据处理的基本操作，在文本聚类、剽窃检测、实体解析等研究领域具有重要 作用。另一方面，MapReduce编程模型因为具有 良好的可扩放性、容错性和易用性，被广泛地应用于海量数据处理。 因此，基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一。首先，概括 了 海量数据 固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战；其次，提 出了海量数 据相似性连接的定义，按 3种不同的分类标准对其进行了分类；接着，重点分析 了集合、字符串和向量数据类型的海量 相似性连接查询最新技术，并从效率和适用范围等方面分别对这些技术进行了比较 ；最后 ，讨论 了海量数据相似性连 接查询技术亟待解决的关键问题，并提 出了一些有前景的解决方案。 关键词 海量数据 ，相似性连接 ，MapReduce，Top-k 中图法分类号 TP391 文献标识码 A DOI 10．11896／j．issrL1002—137X2015．1．001 SimilarityJoinsonMassiveDataBasedonMapReduceFramework PANGJun YU Ge XUJia2 GU Yu (SchoolofInformationScienceandEngineering，NortheasternUniversity，Shenyang110819，China) (SchoolofInfomr ationSystem andManagement，NationalUniversityofDefenseTechnology，Changsha410073，China)0 Abstract Asabasicoperationoflarge-scaledataprocessing，similarityjoinsonlarge-scaledataplayanimportantrole indocumentclustering，plagiarism detection，entityresolutionandmanyotherfields．Ontheotherhand，theMapReduce programmingmodeliswidelyappliedtomassivedataprocessingbecauseofitsgoodscalability，faulttoleranceandusa— bility．Therefore，similarityjoinsonmassivedatabasedonMapReducebecomeoneofthehottopicsinthefieldofmas— sivedataprocessing．Firstly，bigchallengesofsimilarityjoinqueryintroducedbyrapidgrowthofdatavolumeweregen— eralized．Then，thedefinitionofsimilarityjoinsonmassivedatawaspresentedandsimilarityjoinsonmassivedatawere classifiedaccordingtOthreedifferentstandards．Inaddition，thecurrentstatusofset，stringandvectorsimilarityjoins onmassivedatawereemphaticall