一种优化MapReduce系统能耗的任务分发算法_宋杰.docx

第 ３９ 卷 第 ２ 期２０１６年 ２ 月计 算 机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬ ＯＦＣＯＭＰＵＴＥＲＳＶｏｌ．３９ Ｎｏ．２Ｆｅｂ．２０１６一 种 优 化 ＭａｐＲｅｄｕｃｅ系统能耗的任务分发算法 ）宋杰１徐澍１郭朝鹏１鲍玉斌２于戈２））））１）（东北大学软件学院 沈 阳 １１０８１９）２）（东北大学信息科学与工程学院 沈 阳 １１０８１９）摘 要 ＭａｐＲｅｄｕｃｅ是 一种典型的分布式计算模型 ，一经提出就被迅速应用到大 数据处理系统中 ．文 中 认 为 ＭａｐＲｅｄｕｃｅ系统在能耗方面存在优化空间 ．对于一个分布 式并行计算系统 ，任务的并行性对任务执行性能影响显 著 ，并行性保证方法在优化性能的前提下还应该 考 虑 系 统 能 耗 ．在 ＭａｐＲｅｄｕｃｅ系 统 中 ，传 统 的 Ｍａｐ 任 务 分 发 算 法 采 用 “小 任 务 多 次 分 发 的 策 略 ”，这种策略虽然保证了并行性 ，但会浪费节点的处理能力 ，消耗额外的能量 ；而 Ｒｅｄｕｃｅ任务分发算法尚不能保证 Ｒｅｄｕｃｅ任 务 间 的 并 行 性 ．文中提出通过动态地调整 Ｍａｐ 任 务 和 Ｒｅｄｕｃｅ任 务 大 小 ，也即任务处理数据量的规模来保证任务并行性 ，降 低 ＭａｐＲｅｄｕｃｅ系统的整体能耗 ．文中通过实验证明该方法能 够有效地降低典型 ＭａｐＲｅｄｕｃｅ作 业 的 能 耗 ．关 键 词 ＭａｐＲｅｄｕｃｅ；能 耗 ；能 耗 优 化 ；任 务 分 发 ；并 行 性 ；云 计 算 ；大 数 据中 图 法 分 类 号 ＴＰ３１１ ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．００３２３ＡＴａｓｋＤｉｓｔｒｉｂｕｔｉｏｎＡｌｇｏｒｉｔｈｍｆｏｒＥｎｅｒｇｙＣｏｎｓｕｍｐｔｉｏｎＯｐｔｉｍｉｚａｔｉｏｎｏｆＭａｐＲｅｄｕｃｅＳｙｓｔｅｍＳＯＮＧＪｉｅ１） ＸＵ Ｓｈｕ１） ＧＵＯ Ｃｈａｏ－Ｐｅｎｇ１） ＢＡＯ Ｙｕ－Ｂｉｎ２） ＹＵ Ｇｅ２）１）（ＳｏｆｔｗａｒｅＣｏｌｌｅｇｅ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０８１９）２）（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０８１９）Ａｂｓｔｒａｃｔ Ｗｈｉｌｅ ＭａｐＲｅｄｕｃｅｉｓｐｒｏｐｏｓｅｄａｓａｔｙｐｉｃａｌｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇ ｍｏｄｅｌ，ｉｔｃａｕｓｅｄａ ｈｕｇｅｒｅｐｅｒｃｕｓｓｉｏｎａｎｄａｐｐｌｉｅｄｒａｐｉｄｌｙｔｏｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ．Ｈｏｗｅｖｅｒ，ｉｔｓｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ ｓｔｉｌｌｃａｎｂｅｏｐｔｉｍｉｚｅｄ，ｆｏｒｔｈｅｄｉｓｔｒｉｂｕｔｅｄｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｓｙｓｔｅｍ，ｔｈｅｐａｒａｌｌｅｌｉｓｍ ｏｆｔａｓｋｓｉｓ ｔｈｅ ｋｅｙ ｔｏ ｐｅｒｆｏｒｍａｎｃｅ，ｔｈｅ ｐａｒａｌｌｅｌｉｓｍ ｅｎｓｕｒｉｎｇ ａｐｐｒｏａｃｈ ｓｈｏｕｌｄ ｃｏｎｓｉｄｅｒ ｎｏｔ ｏｎｌｙ ｔｉｍｅ ｃｏｎｓｕｍｐｔｉｏｎｂｕｔａｌｓｏｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｐａｒａｌｌｅｌｉｓｍ，ｔｈｅｔｒａｄｉｔｉｏｎａｌ Ｍａｐｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｕｓｅｔｈｅ “ｆｉｎｅｇｒａｎｕｌａｒｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎｓｔｒａｔｅｇｙ”ｔｏｉｍｐｒｏｖｅｔｈｅ ｐａｒａｌｌｅｌｉｓｍ，ｂｕｔｉｔｗａｓｔｅｓｔｈｅｅｎｅｒｇｙ；ａｎｄ Ｒｅｄｕｃｅｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍ ｃａｎｎｏｔｇｕａｒａｎｔｅｅ ｔｈｅｐａｒａｌｌｅｌｉｓｍａｍｏｎｇｔｈｅＲｅｄｕｃｅｔａｓｋｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｏｐｔｉｍｉｚｅ ＭａｐＲｅｄｕｃｅｂｙａｄｊｕｓｔｉｎｇｔｈｅ ｓｉｚｅｏｆＭａｐｔａｓｋｓａｎｄＲｅｄｕｃｅｔａｓｋｓｄｙｎａｍｉｃａｌｌｙ，ｗｈｉｃｈｃａｎｓａｖｅｅｎｅｒｇｙｃｏｎｓｕｍｅｄｂｙ ＭａｐＲｅｄｕｃｅ ｓｙｓｔｅｍ．Ｔｈｅａｌｇｏｒｉｔｈｍ ｐｒｏｐｏｓｅｄｔｏｔｈｉｓｐａｐｅｒｈａｓｂｅｅｎｐｒｏｖｅｄｅｆｆｅｃｔｉｖｅｉｎｒｅｄｕｃｉｎｇｔｈｅｅｎｅｒｇｙ ｃｏｎｓｕｍｐｔｉｏｎｔｈｒｏｕｇｈａｓｅｒｉｅｓｏｆｅｘｐｅｒｉｍｅｎｔｓ．Ｋｅｙｗｏｒｄｓ ＭａｐＲｅｄｕｃｅ；ｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ；ｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎ；ｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎ；ｐａｒａｌｌｅｌｉｓｍ；ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ｂｉｇｄａｔａ收 稿 日 期 ：２０１４－０