hadoop中云数据负载均衡算法的研究及优化 research and optimize of cloud data load balancing in hadoop.pdfVIP

29卷 第 9期 微 电 子 学 与 计 算 机 Vo1．29 No．9 2012年 9月 MICROELE rRONICS＆ COMPUTER September 2012 Hadoop中云数据负载均衡算法的研究及优化 刘 琨，肖 琳，赵海燕 (北京联合大学 应用科技学院，北京 102200) 摘 要：介绍了Hadoop的数据负载均衡算法．为了提升Hadoop数据负载均衡算法的效率，文中提出了超负载机 架的优先处理及引用排序策略的解决负载均衡的改进算法．实验证明了改进算法在特定的环境下或能够在较短的 时间内使各个机架的数据负载达到平衡以及能够优先处理负载超大节点． 关键词：Hadoop~云计算；云存储；负载均衡；HDFS 中图分类号：TP393 文献标识码：A 文章编号：1O0O一7180(2012)09--0018--05 ResearchandOptimizeofCloudDataLoadBalancinginHadoop LIU Kun，XIAO Lin，ZHAO Hai-yan (CollegeofOrientalApplication＆Technology，BeijingUnionUniversity，Beijing102200，China) ． Abstract：Thispaperdescribesthedataloadbalancingalgorithm ofHadoop．Inordertoimprovetheefficiencyof algorithm ，we propose the optimization algorithms using sorting method or handling theoverloading racks preferentiallytosolveloadbalancing．Experimentsshow theracksusedoptimizationalgorithm can realizeload balancinginshortertimeorhandletheoverloadingnodespreferentiallyincertaincircumstance． Keywords：Hadoop~cloudcomputing cloudstorage；loadbalancing；HDFS 1 引言 时间内使各机架的数据负载达到平衡· 2 Hadoop的负载均衡算法 云计算是 目前最热门的研究领域之一，也是众 多企业及研究机构研究的课题．云计算是网格计算、 2．1 Hadoop的负载均衡简述 分布式计算、并行计算、效用计算、网络存储、虚拟 在 Hadoopc。]中，包含一个 Balancer程序，通过 化、负载均衡等传统计算机技术和网络技术发展融 运行这个程序，可以使得 HDFSE7]集群达到一个平 合的产物[】]．未来存储模式将改变 目前的存储模 衡的状态，使用这个程序的命令如下： 式，不再存放在个人计算机及服务器上，而是存放在 sh $HADOOP—HOME／bin／start—balancer． 云服务器中，同时所有的计算及处理工作也将在云 sh—t109／5 服务器完成，这样给企业及各厂