一种优化MapReduce系统能耗的任务分发算法_宋杰.docx

第 ３９ 卷 第 ２ 期 ２０１６年 ２ 月 计 算 机 学 报 ＣＨＩＮＥＳＥＪＯＵＲＮＡＬ ＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３９ Ｎｏ．２ Ｆｅｂ．２０１６ 一 种 优 化 ＭａｐＲｅｄｕｃｅ系统能耗的任务分发算法 ）宋 杰１ ） 徐 澍１ 郭朝鹏１ 鲍玉斌２ 于 戈２ ））））１）（东北大学软件学院 沈 阳 １１０８１９） ） ） ） ） ２）（东北大学信息科学与工程学院 沈 阳 １１０８１９） 摘 要 ＭａｐＲｅｄｕｃｅ是 一种典型的分布式计算模型 ，一经提出就被迅速应用到大 数据处理系统中 ．文 中 认 为 ＭａｐＲｅｄｕｃｅ系统在能耗方面存在优化空间 ．对于一个分布 式并行计算系统 ，任务的并行性对任务执行性能影响显 著 ，并行性保证方法在优化性能的前提下还应该 考 虑 系 统 能 耗 ．在 ＭａｐＲｅｄｕｃｅ系 统 中 ，传 统 的 Ｍａｐ 任 务 分 发 算 法 采 用 “小 任 务 多 次 分 发 的 策 略 ”，这种策略虽然保证了并行性 ，但会浪费节点的处理能力 ，消耗额外的能量 ；而 Ｒｅｄｕｃｅ任务分发算法尚不能保证 Ｒｅｄｕｃｅ任 务 间 的 并 行 性 ．文中提出通过动态地调整 Ｍａｐ 任 务 和 Ｒｅｄｕｃｅ任 务 大 小 ，也即任务处理数据量的规模来保证任务并行性 ，降 低 ＭａｐＲｅｄｕｃｅ系统的整体能耗 ．文中通过实验证明该方法能 够有效地降低典型 ＭａｐＲｅｄｕｃｅ作 业 的 能 耗 ． 关 键 词 ＭａｐＲｅｄｕｃｅ；能 耗 ；能 耗 优 化 ；任 务 分 发 ；并 行 性 ；云 计 算 ；大 数 据 中 图 法 分 类 号 ＴＰ３１１ ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．００３２３ ＡＴａｓｋＤｉｓｔｒｉｂｕｔｉｏｎＡｌｇｏｒｉｔｈｍｆｏｒＥｎｅｒｇｙＣｏｎｓｕｍｐｔｉｏｎ ＯｐｔｉｍｉｚａｔｉｏｎｏｆＭａｐＲｅｄｕｃｅＳｙｓｔｅｍ ＳＯＮＧＪｉｅ１） ＸＵ Ｓｈｕ１） ＧＵＯ Ｃｈａｏ－Ｐｅｎｇ１） ＢＡＯ Ｙｕ－Ｂｉｎ２） ＹＵ Ｇｅ２） １）（ＳｏｆｔｗａｒｅＣｏｌｌｅｇｅ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０８１９） ２）（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０８１９） Ａｂｓｔｒａｃｔ Ｗｈｉｌｅ ＭａｐＲｅｄｕｃｅｉｓｐｒｏｐｏｓｅｄａｓａｔｙｐｉｃａｌｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇ ｍｏｄｅｌ，ｉｔｃａｕｓｅｄａ ｈｕｇｅｒｅｐｅｒｃｕｓｓｉｏｎａｎｄａｐｐｌｉｅｄｒａｐｉｄｌｙｔｏｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ．Ｈｏｗｅｖｅｒ，ｉｔｓｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ ｓｔｉｌｌｃａｎｂｅｏｐｔｉｍｉｚｅｄ，ｆｏｒｔｈｅｄｉｓｔｒｉｂｕｔｅｄｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｓｙｓｔｅｍ，ｔｈｅｐａｒａｌｌｅｌｉｓｍ ｏｆｔａｓｋｓｉｓ ｔｈｅ ｋｅｙ ｔｏ ｐｅｒｆｏｒｍａｎｃｅ，ｔｈｅ ｐａｒａｌｌｅｌｉｓｍ ｅｎｓｕｒｉｎｇ ａｐｐｒｏａｃｈ ｓｈｏｕｌｄ ｃｏｎｓｉｄｅｒ ｎｏｔ ｏｎｌｙ ｔｉｍｅ ｃｏｎｓｕｍｐｔｉｏｎｂｕｔａｌｓｏｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｐａｒａｌｌｅｌｉｓｍ，ｔｈｅｔｒａｄｉｔｉｏｎａｌ Ｍａｐｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｕｓｅｔｈｅ “ｆｉｎｅｇｒａｎｕｌａｒｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎｓｔｒａｔｅｇｙ”ｔｏｉｍｐｒｏｖｅｔｈｅ ｐａｒａｌｌｅｌｉｓｍ，ｂｕｔｉｔｗａｓｔｅｓｔｈｅｅｎｅｒｇｙ；ａｎｄ Ｒｅｄｕｃｅｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍ ｃａｎｎｏｔｇｕａｒａｎｔｅｅ ｔｈｅｐａｒａｌｌｅｌｉｓｍａｍｏｎｇｔｈｅＲｅｄｕｃｅｔａｓｋｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｏｐｔｉｍｉｚｅ ＭａｐＲｅｄｕｃｅｂｙａｄｊｕｓｔｉｎｇｔｈｅ ｓｉｚｅｏｆＭａｐｔａｓｋｓａｎｄＲｅｄｕｃｅｔａｓｋｓｄｙｎａｍｉｃａｌｌｙ，ｗｈｉｃｈｃａｎｓａｖｅｅｎｅｒｇｙｃｏｎｓｕｍｅｄｂｙ ＭａｐＲｅｄｕｃｅ ｓｙｓｔｅｍ．Ｔｈｅａｌｇｏｒｉｔｈｍ ｐｒｏｐｏｓｅｄｔｏｔｈｉｓｐａｐｅｒｈａｓｂｅｅｎｐｒｏｖｅｄｅｆｆｅｃｔｉｖｅｉｎｒｅｄｕｃｉｎｇｔｈｅｅｎｅｒｇｙ ｃｏｎｓｕｍｐｔｉｏｎｔｈｒｏｕｇｈａｓｅｒｉｅｓｏｆｅｘｐｅｒｉｍｅｎｔｓ． Ｋｅｙｗｏｒｄｓ ＭａｐＲｅｄｕｃｅ；ｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ；ｅｎｅｒｇｙｃ