基于机器学习的MapReduce资源调度算法-计算机应用研究.PDFVIP

第３３卷第１期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ１ ２０１６年１月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊａｎ．２０１６ 基于机器学习的ＭａｐＲｅｄｕｃｅ资源调度算法 １ １ ２ １ 于　倩 ，蔚承建 ，王　开 ，朱林军 （１．南京工业大学 电子与信息工程学院，南京２１０００９；２．东南大学信息科学与工程学院，南京２１００１８） 摘　要：针对ＭａｐＲｅｄｕｃｅ中允许 ｍａｐ和 ｓｈｕｆｆｌｅ阶段重叠的优化模型需要自适应性的问题，提出了基于此模型 的机器学习的资源调度算法，利用贝叶斯分类器依据作业对系统资源的需求和系统环境的匹配程度对作业进行 调度，并不断更新分类器，使其具有自适应性，考虑了ｍａｐ和ｓｈｕｆｆｌｅ的重叠阶段。通过模拟实验验证，改进后的 算法能够提高ＭａｐＲｅｄｕｃｅ系统的性能，获得更好的平均响应时间。 关键词：ＭａｐＲｅｄｕｃｅ；重叠阶段；自适应性；机器学习；贝叶斯分类器 中图分类号：ＴＰ１８１；ＴＰ３０１６　　　文献标志码：Ａ　　　　　文章编号：１００１３６９５（２０１６）０１０１１１０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０１．０２６ ＲｅｓｏｕｒｃｅｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｆｏｒＭａｐＲｅｄｕｃｅｂａｓｅｄｏｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇ １ １ ２ １ ＹｕＱｉａｎ，ＷｅｉＣｈｅｎｇｊｉａｎ，ＷａｎｇＫａｉ，ＺｈｕＬｉｎｊｕｎ （１．ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃｓ＆ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＴｅｃｈＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１０００９，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎ ｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００１８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔａｍａｐａｎｄｓｈｕｆｆｌｅｏｐｔｉｍｉｚａｔｉｏｎｍｏｄｅｌａｌｌｏｗｅｄｏｖｅｒｌａｐｐｉｎｇｐｈａｓｅｓｉｎＭａｐＲｅｄｕｃｅｗａｓｌａｃｋ ｏｆａｄａｐｔａｂｉｌｉｔｙ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｒｅｓｏｕｒｃｅｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｉｓｍｏｄｅｌｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，ｉｔｕｓｅｄＢａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒｂａｓｅｄｏｎｔｈｅｄｅｇｒｅｅｏｆｍａｔｃｈｉｎｇｔｈｅｏｐｅｒａｔｉｎｇｓｙｓｔｅｍｒｅｓｏｕｒｃｅｒｅｑｕｉｒｅｍｅｎｔｓａｎｄｓｙｓｔｅｍｅｎｖｉｒｏｎｍｅｎｔｆｏｒｊｏｂｓｃｈｅｄｕ ｌｉｎｇ，ａｎｄｔｈｅｎｕｐｄａｔｅｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｃｏｎｔｉｎｕｏｕｓｌｙ，ｓｏｔｈａｔｉｔｈａｄａｄａｐｔａｂｉｌｉｔｙ，ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｏｖｅｒｌａｐｐｈａｓｅｍａｐａｎｄｓｈｕｆ ｆｌｅ．ＴｈｅｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｖｅｒｉｆｙｔｈａｔｔｈｅｓｏｌｕｔｉｏｎｃａｎｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆＭａｐＲｅｄｕｃｅｓｙｓｔｅｍ，ｇｅｔａｂｅｔｔｅｒａｖｅ ｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅ． Ｋｅｙｗｏｒｄｓ：ＭａｐＲｅｄｕｃｅ；ｏｖｅｒｌａｐｐｉｎｇｐｈａｓｅｓ；ａｄａｐｔａｂｉｌｉｔｙ；ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ；Ｂａｙｅｓｉａｎｃｌａｓｓｉｆｉｅｒ 间很大程度上依靠 ｓｈｕｆｆｌｅ阶段的工作，在一个 ＭａｐＲｅｄｕｃｅ系 ０　引言