基于云计算Hadoop异构集群的并行作业调度算法.docxVIP

·１８４６· 计算机测量与控制 ．２０１４．２２（６） 算法、设计与应用Ｃｏｍｐｕｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ 算法、设计与应用  文章编号 ：１６７１－４５９８（２０１４）０６－１８４６－０４ 中图分类号 ：ＴＰ３９３ 文献标识码 ：Ａ 基于云计算 Ｈａｄｏｏｐ异构集群的 并行作业调度算法 郭其标１，吕春峰２ （１．嘉 应学院 计算机学院，广东 梅州 ５１４０１５； ２．郑州铁路职业技术学 院 软件学院，郑州 ４５００５２） 摘要： 针对 Ｈａｄｏｏｐ异构集群中计算和数据资源的不一致分 布所导致的调度性能较低的缺点， 设计了一种基于 Ｈａｄｏｏｐ 集 群 和 改 进 Ｌａｔｅ算法的并行作业调度算法 ； 首先， 介绍了基于 Ｈａｄｏｏｐ框 架和 Ｍａｐ－Ｒｅｄｕｃｅ模型的调度原理 ， 然后， 在经典的 Ｌａｔｅ调度算法的基础 上， 对 Ｍａｐ任 务和 Ｒｅｄｕｃｅ任务的各阶段执行时间进度比例进行存 储和更 新， 为了进一 步 地提高调 度效率， 将慢任务迁移到本 地 化 节 点 或离数据资源较近的物理节点上， 并给了基于改进 Ｌａｔｅ算 法的 作业调 度 流 程； 为了 验 证文中方 法， 在 Ｈａｄｏｏｐ集 群系统上 测 试， 设 定 １ 个为Ｊｏｂｔｒａｃｋｅｒ主 控节点和 ７个为 ＴａｓｋＴｒａｃｋｅｒ节 点， 实验结果表明文中方法 能 实 现异构集 群 的作业 调 度， 且与其它方法比较， 具 有 较 低的预测误差和较高的调度效率。 关键词： 云计算； 作业调度； 集群资源； 慢任务 ＡｌｇｏｒｉｔｈｍｆｏｒＣｏｎｃｕｒｒｅｎｔＪｏｂＳｃｈｅｄｕｌｉｎｇＢａｓｅｄｏｎＣｌｏｕｄ ＣｏｍｐｕｔｉｎｇＨａｄｏｏｐＨｅｔｅｒｏｇｅｎｅｏｕｓＣｏｍｐｕｔｅｒＣｌｕｓｔｅｒ ＧｕｏＱｉｂｉａｏ１，ＬｕＣｈｕｎｆｅｎｇ２ （１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ，ＪｉａＹｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｍｅｉｚｈｏｕ ５１４０１５，Ｃｈｉｎａ； ２．ＳｏｆｔｗａｒｅＣｏｌｌｅｇｅ，ＺｈｅｎｇｚｈｏｕＲａｉｌｗａｙＶｏｃａｔｉｏｎａｌａｎｄＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ ，Ｚｈｅｎｇｚｈｏｕ ４５００５２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＡｉｍｉｎｇａｔｔｈｅＨａｄｏｏｐｈｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒｓｔｈａｔｈａｖｅｔｈｅｄｅｆｅｃｔｓｏｆｌｏｗｓｃｈｅｄｕｌｉｎｇｅｆｆｉｃｉｅｎｃｙｆｏｒｉｎ－ｃｏｎｆｏｒｍａｌ ｃｏｍｐｕｔｉｎｇａｎｄｄａｔａｒｅｓｏｕｒｃｅ，ａｊｏｂｓｃｈｅｄｕｌｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎＬａｔｅａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＨａｄｏｏｐｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒｗａｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅ ｐｒｉｎｃｉｐｌｅｏｆｓｃｈｅｄｕｌｉｎｇｂａｓｅｄｏｎ Ｈａｄｏｏｐａｎｄ Ｍａｐ－Ｒｅｄｕｃｅｍｏｄｅｌｗａｓｉｎｔｒｏｄｕｃｅｄ，ｔｈｅｎｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｃｌａｓｓｉｃｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ，ｔｈｅ ｅｘｅｃｕｔｉｎｇｔｉｍｅｒａｔｉｏｆｏｒｓｔａｇｅｓｏｆＭａｐｔａｓｋａｎｄＲｅｄｕｃｅｔａｓｋｗａｓｓｔｏｒｅｄａｎｄｒｅｎｅｗｅｄ，Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｓｃｈｅｄｕｌｉｎｇｅｆｆｉｃｉｅｎｃｙｆｕｒｔｈｅｒ， ｔｈｅｓｌｏｗｔａｓｋｉｓｔｒａｎｓｆｅｒｒｅｄｔｏｔｈｅｌｏｃａｌｎｏｄｅｏｒｔｈｅｎｅｉｇｈｂｏｒｎｏｄｅｓｎｅａｒｔｈｅｄａｔａｒｅｓｏｕｒｃｅ，ａｎｄｔｈｅａｌｇｏｒｉｓｍｆｌｏｗｆｏｒｔｈｅｉｍｐｒｏｖｅｄＬａｔｅａｌｇｏ－ ｒｉｓｍ ｗａｓｇｉｖｅｎ．Ｉｎｏｒｄｅｒｔｏｖｅｒｉｆｙｔｈｅｍｅｔｈｏｄｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅｅｘｐｅｒｉｍｅｎｔｗａｓｓｉｍｕｌａｔｅｄｉｎｔｈｅＨａｄｏｏｐｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒ，ｔｈｅｎｕｍｂｅｒｆｏｒ ＪｏｂｔｒａｃｋｅｒｎｏｄｅｓａｎｄＴａｓｋｔｒａｃｋｅｒｎｕｍｂｅｒｉｓ１ａｎｄ７，ｒｅｓｐｅｃｔｉｖｅｌｙ，ａｎｄｔｈｅｒｅｓｕｌｔｓｈｏｗｓｔｈｅｍｅｔｈｏｄｉｎｔｈｉｓｐａｐｅｒｃａｎｒｅａｌｉｚｅｊｏｂｓｃｈｅｄｕｌｉｎｇ ｆｏｒｈｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒｓ，ａｎｄｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｏｔｈｅｒｍｅｔｈｏｄ，ｉｔｈａｓｔｈｅｌｏｗｐｒｅｄｉｃａｔｉｎｇｅｒｒｏｒａｎｄｈｉｇｈｓｃｈｅｄｕｌｉｎｇｅｆｆｉｃｉｅｎｃｙ． Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ｊｏｂｓｃｈｅｄｕｌｉｎｇ；ｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒ；ｓｌｏｗｔａｓｋ ０ 引言 云计算［１－２］