Hadoop平台下的动态调度算法.PDF

第 卷 第 期 计 算 机 科 学 ４２ ９ Ｖｏｌ．４２Ｎｏ．９ 　 年 月 ２０１５ ９ Ｃｏｍ ｕｔｅｒ Ｓｃｉｅｎｃｅ Ｓｅ ２０１５ ｐ 　 ｐ 　 Ｈａｄｏｏ 平台下的动态调度算法 ｐ 高燕飞 陈俊杰 强 彦 　 　 　 （ ） 太原理工大学计算机科学与技术学院 太原０３００２４ 　 　 ， 、 ， 、 摘 要 目前 云计算环境具有动态 异构和海量多类型任务并发等特征 随着集群规模不断增大 用户 ＱｏＳ不断增 　 　 ， 。 多 现有调度算法越来越难以适应动态变化的环境及满足用户的需求 针对 Ｈａｄｏｏ 平台下现有调度器不能根据作 ｐ ， 。 业运行状态和资源使用情况进行动态调整的问题 提出了 Ｈａｄｏｏ 下基于作业分类的动态调度算法 该算法在使用 ｐ ， ， ， 朴素贝叶斯分类算法对队列中作业进行分类的过程中 根据各个作业的类型 预先设定类别权值 将队列中的作业分 ， ， ， 类 并引入效用函数 根据用户提交时的预期完成时间 ＱｏＳ和作业完成情况估算其作业完成时间 实现动态设置作业 。 ， ， 。 优先级 实验表明 使用提出的算法不仅能有效减少作业的分类时间 而且能明显提高动态性和用户ＱｏＳ ， ， ， ， 关键词 人机交互 Ｈａｄｏｏ 动态调度 贝叶斯网络 ＱｏＳ 　 ｐ 中图法分类号 文献标识码 ／ ＴＰ３９ Ａ ＤＯＩ １０．１１８９６ ．ｉｓｓｎ．１００２ １３７Ｘ．２０１５．９．０１０ 　 　　　 　 　　　 　 ｊ － 　 Ｄ ｎａｍｉｃＳｃｈｅｄｕｌｉｎ Ａｌｏｒｉｔｈｍ