Hadoop平台下基于截止时间限制的动态调度算法的研究-计算机应用研究.PDF

第３３卷第２期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ２ 　 　 ２０１６年２月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｆｅｂ．２０１６ Ｈａｄｏｏｐ平台下基于截止时间限制的 动态调度算法的研究 张　永，贺言君 （兰州理工大学计算机与通信学院，兰州７３００５０） 摘　要：为了满足有截止时间限制的ＭａｐＲｅｄｕｃｅ作业的需求，提出一种基于截止时间限制的动态调度算法 （ＤＣＤＳ）。该算法实时监控作业运行状况，并对作业运行时间进行动态估算，从而确定作业优先级；对于时间紧 迫的作业，可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明，与Ｈａｄｏｏｐ平台现有的调度算 法相比，该算法不仅能满足作业截止时间的要求，也提高了系统资源的利用率和吞吐量。 关键词：ＭａｐＲｅｄｕｃｅ；截止时间；动态调度；抢占策略；Ｈａｄｏｏｐ 中图分类号：ＴＰ３９３．０７　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１６）０２０５４４０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０２．０５２ ＤｙｎａｍｉｃｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅａｄｌｉｎｅｆｏｒＨａｄｏｏｐｐｌａｔｆｏｒｍ ＺｈａｎｇＹｏｎｇ，ＨｅＹａｎｊｕｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ＆Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＬａｎｚｈｏｕＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｌａｎｚｈｏｕ７３００５０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＩｎｏｒｄｅｒｔｏｓａｔｉｓｆｙｔｈｅｄｅａｄｌｉｎｅｆｏｒＭａｐＲｅｄｕｃｅｊｏｂｓ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄａｄｙｎａｍｉｃｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ ｄｅａｄｌｉｎｅ（ＤＣＤＳ）．Ｔｈｉｓａｌｇｏｒｉｔｈｍｃｏｕｌｄｍｏｎｉｔｏｒｔｈｅｒｅａｌｔｉｍｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｐｒｏｃｅｄｕｒｅｏｆｊｏｂｓ，ａｎｄｅｓｔｉｍａｔｅｄｔｈｅｔｉｍｅｏｆｊｏｂｓ ｄｙｎａｍｉｃａｌｌｙｔｏｃｏｍｐｕｔｅｔｈｅｐｒｉｏｒｉｔｙｏｆｔｈｅｊｏｂ．Ｆｏｒｅｍｅｒｇｅｎｃｙｊｏｂｓ，ｔｈｉｓａｌｇｏｒｉｔｈｍｕｓｅｄｐｒｅｅｍｐｔｉｖｅｓｔｒａｔｅｇｙｔｏｅｎｓｕｒｅｊｏｂｓｃｏｍ ｐｌｅｔｅｄｕｎｄｅｒｔｈｅｄｅａｄｌｉｎｅ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｎｏｔｏｎｌｙｍｅｅｔｓｔｈｅｄｅａｄｌｉｎｅｏｆｔｈｅｊｏｂ，ｂｕｔ ａｌｓｏｉｍｐｒｏｖｅｓｔｈｅｅｆｆｉｃｉｅｎｃｙａｎｄｔｈｒｏｕｇｈｐｕｔｏｆｔｈｅｓｙｓｔｅｍｒｅｓｏｕｒｃｅｓｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｅｘｉｓｔｉｎｇＨａｄｏｏｐｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ＭａｐＲｅｄｕｃｅ；ｄｅａｄｌｉｎｅ；ｄｙｎａｍｉｃｓｃｈｅｄｕｌｉｎｇ；ｐｒｅｅｍｐｔｉｖｅｓｔｒａｔｅｇｙ；Ｈａｄｏｏｐ ［４］ 　　如今，随着大数据处理需求的快速增长，市面上出现了许 能。Ｈａｄｏｏｐ自带的调度器主要有ＦＩＦＯ调度器 、计算能力调 ［５］ ［６］ 多针对大数据的并行处理框架。其中，Ｇｏｏｇｌｅ公司开发的 度器 和公平调度器 。本文考虑到目前的调度算法主要从 ［１］ 系统负载和推测执行两