云计算环境下的动态反馈作业调度算法.pdfVIP

第 48卷 第 7期 西 安 交 通 大 学 学 报 Vo1．48 NO．7 2014年 7月 JOURNALOFXI’ANJIA0TONG UNIVERSITY Ju1．2014 DOI：10．7652／xjtuxb201407014 云计算环境下的动态反馈作业调度算法 马莉 ，唐善成 ，王静 ，赵安新 (1．西安科技大学通信与信息工程学院，710054，西安；2．西安交通大学 电气工程学院，710049，西安) 摘要 ：针对现有 Hadoop作业调度算法在 多用户、异构环境下不具备反馈机制的问题 ，提 出一种云 计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型，采用单队列多资源池服 务窗口的设计思路 ，将所有作业统一提交到一个支持优先级的排队队列，作业分发控制模块选择优 先级最高的作业分发到空闲的资源池窗 口执行 ；Hadoop集群通过 自身的心跳机制将作业运行的 初始化时间、运行 时间等信息传递给参数统计模块进行统计 ，将获得 的平均到达率和平均服务率这 两个核心参数的实际值传递给反馈机制模块 ，根据调度算法模型计算出平均逗留时间和平均队长 的理论值并与实际值进行对比，当差值大于阈值时对该调度算法的核心参数进行适 当调节使差值 收敛于阈值 ，将具有较大平均逗 留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行 。 实验结果表明：与经典算法相比，该算法具有较高的调度效率和 负载平衡能力，作业平均逗 留时间 比先进先 出调度算法和公平调度算法分别减少了57 和 19 ，平均队长分别减少了50 和 37 。 关键词：云计算 ；Hadoop集群 ；作业调度；排 队论；反馈机制 中图分类号 ：TP311 文献标志码 ：A 文章编号 ：0253-987X(2014)07—0077—06 DynamicFeedbackJobSchedulingAlgorithm inCloudComputing MA Li，TANG Shancheng ，WANG Jing ，ZHAO Anxin。 (1．SchoolofCommunicationandInformation，xi’anUniversityofScienceandTechnology，Xi’an710054，China； 2．SchoolofElectricalEngineering，Xi’anJiaotongUniversity，Xi’an710049，China；) Abstract：Aimingatthedefectivenessin thefeedbackmechanism ofcurrentHadoop scheduling algorithmsinamulti—userandheterogeneousenvironment，adynamicjobschedulingalgorithm with feedbackmechanism isproposed，whereakind ofqueuestheory modelis introduced，a singlequeuedesign andmultipleresourcepoolservicewindowsareadopted．Alljobsare submittedtoasinglequeuewhichsupportspriority，andthenthejobwiththehighestpriorityis scheduledtothefreeresourcepoolwindow torunbythejobdistributingandcontrollingmodule． With itsownheartbeatmechanism ofHadoopcluster，thejob—relatedrunningdata，suchas initializingtimeandrunning time，aretransmitted totheparametricstatisticsmoduletogetthe actualmean