云计算环境下的动态反馈作业调度算法 Dynamic Feedback Job Scheduling Algorithm in Cloud Computing.pdf

第48卷第7期 西 安 交 通 大 学 学 报 V01．48No．7 OFXI’AN UNIVERSITY 2014年7月 JOURNAL JIAOTONG Jul．2014 DoI：10．7652／Xjtuxb201407014 云计算环境下的动态反馈作业调度算法 马莉1，唐善成1，王静1，赵安新2 (1．西安科技大学通信与信息工程学院，710054，西安；2．西安交通大学电气工程学院，710049，西安) 摘要：针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题，提出一种云 计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型，采用单队列多资源池服 务窗口的设计思路，将所有作业统一提交到一个支持优先级的排队队列，作业分发控制模块选择优 先级最高的作业分发到空闲的资源池窗口执行；Hadoop集群通过自身的心跳机制将作业运行的 初始化时间、运行时间等信息传递给参数统计模块进行统计，将获得的平均到达率和平均服务率这 两个核心参数的实际值传递给反馈机制模块，根据调度算法模型计算出平均逗留时间和平均队长 的理论值并与实际值进行对比，当差值大于阈值时对该调度算法的核心参数进行适当调节使差值 收敛于阈值，将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行。 实验结果表明：与经典算法相比，该算法具有较高的调度效率和负载平衡能力，作业平均逗留时间 比先进先出调度算法和公平调度算法分别减少了57％和19％，平均队长分别减少了50％和37％。 关键词：云计算；Hadoop集群；作业调度；排队论；反馈机制 中图分类号：TP311文献标志码：A 文章编号：0253—987X(2014)07一0077一06 Feedback inCloud Job Dynamic SchedulingAlgorithmComputing MALil，TANG Anxin3 Shanchen92，WANGJin91，ZHAO (1．SchoolofCommunicationandInfomation，Xi’anofScienceand 710054，China； University Techn0109y，Xi’an ofElectrical 2．School Engineering，Xi’anJiaotongUniversity，Xi’an710049，China；) Abstr神t： atthedefectivenessinthefeedbackmechanismofcurrent Aiming Hadoopscheduling inamulti—userand a environment， scheduling algorithms heterogeneous dynamicjob algorithm withfeedbackmechanismis whereakindof modelisintroduced，a theory proposed， queues and res