MapReduce中连接负载均衡优化研究.pdfVIP

CN 43—1258／TP 计算机工程与科学 第 36卷第 1O期 2014年 1O月 ISSN l007 l30X ComputerEngineering Science Vo1．36，No．10，OCt．2014 文章编 号 ：1007—130X(2014)10—1860—06 MapReduce中连接负载均衡优化研究 翟红敏 ，刘 国华 ，赵 威 ，刘源源 ，翟红坤 (1．东华大学计算机科学与技术学院，上海 201620；2．国网黑龙江省 电力有限公司信息通信公司，黑龙江 哈尔滨 150000) 摘 要：数据分析和处理是大规模分布式数据处理应用中的重要任务。由于简单易用和具有灵活性， MapReduce编程模型逐渐成为大规模分布式数据 处理 系统 (如 Hadoop系统)的核心模型 。由于所处理 的数据可能不是均 匀分布的，MapReduce编程模型在处理连接操作 时，会 出现数据倾斜 问题 。数据倾斜 问题严重降低 了MapReduce执行连接操作的效率。针对 MapReduce中连接操作的数据倾斜 问题 ，分析 了造成 MapReduce连接性能瓶颈的原因并建立负载均衡代价模型 ，提 出了用范围分割方法控制连接过程 中的数据倾斜 问题实现负载均衡 的策略 。实验结果表明，所提方法明显提高了连接的效率。 关键词 ：MapReduce；连接 ；数据倾斜 ；范围分割 ；负载均衡 中图分类号 ：TP391．9 文献标志码 ：A doi：10．3969／i．issn．1007—13OX．2O14．10．004 OptimizingloadbalancingofjoinsinMapReduce ZHAIHong—min，LIU Guo—hua，ZHAO W ei，LIU Yuan—yuan，ZHAIHong—kun (1．SchoolofComputerandScience，DonghuaUniversity，Shanghai201620； 2．StateGridCorporationofChinaHeilongjiangElectricPowerCompanyLtd．， Information＆LTelec0mmunicationBranch，Harbin150000，China) Abstract：Dataanalysisand processingisoneofthemostimportanttasksinlarge—scaledistributed dataprocessing applications．Due to itssimplicity and scalability，M apReduceprogramming modelhas graduallybecomethecrucialmodelforlarge—scale distributed dataprocessing systems (eg．Hadoop)． Sincethedatamaybeuniformly distributed，data skew occurswhen MapReduceprogrammingmodel joinsdata，thusdegradingthejoinperformanceseverely．Tosolvedataskew，itsreasonisanalyzed，the loadbalancingcostmodelisestablished，andtherangepartitioneralgorithm isproposed tO controldata skew SOastorealizeloadbalancing．Experimentalresultsdemonstratethatourmethodcanobviouslyim— provetheefficiencyofjoins． Keywords：MapReduce；join；dataskew；rangepartitioner；loadbalancing