基于异构Hadoop集群的负载均衡策略研究.pdfVIP

第27卷摇 第6期 计 算机 技 术 与发 展 Vol.27摇 No.6 2017年6月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 June摇 2017 基于异构Hadoop集群的负载均衡策略研究 1 2 2 秦摇 军 ,冯亮亮 ,孙摇 蒙 (1.南京邮电大学教育科学与技术学院,江苏 南京 210003; 2.南京邮电大学计算机学院,江苏 南京 210003) 摘摇 要:异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负 载倾斜会越来越明显。 显然,负载均衡也成为影响Hadoop集群性能的重要因素之一。 针对异构Hadoop环境中MapRe鄄 duce任务调度,提出了一种新的负载均衡算法。 该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值 进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率。 由于Hadoop集群中各节 点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务 执行时间。 仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间。 关键词:Hadoop集群;MapReduce;节点性能;任务调度;负载均衡 中图分类号:TP301.6摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)06-0110-04 doi:10.3969/j.issn.1673-629X.2017.06.023 Research on Load Balancing Strategy with Heterogeneous Hadoop Clustering 1 2 2 QIN Jun ,FENG Liang-liang ,SUN Meng (1.College of Education Science Technology,Nanjing University of Postsand Telecommunications, Nanjing210003,China; 2.College of Computer,Nanjing University of Postsand Telecommunications,Nanjing210003,China) Abstract:In the heterogeneousHadoopenvironment,processingcapabilitiesofthenodesarediverseandvarious,amongwhicheachnode may be continuously added orremovedin theclusteringanditsload slopemay increase obviously with tasks.Apparently,loadbalancing isone of the most important factorsthataffecttheperformanceofHadoop clustering.Thusanewloadbalancingalgorithmhasbee