一种优化MapReduce系统能耗的任务分发算法_宋杰.docx

一种优化MapReduce系统能耗的任务分发算法_宋杰.docx

第 39 卷 第 2 期 2016年 2 月 计 算 机 学 报 CHINESEJOURNAL OFCOMPUTERS Vol.39 No.2 Feb.2016 一 种 优 化 MapReduce系统能耗的任务分发算法 )宋 杰1 ) 徐 澍1 郭朝鹏1 鲍玉斌2 于 戈2 ))))1)(东北大学软件学院 沈 阳 110819) ) ) ) ) 2)(东北大学信息科学与工程学院 沈 阳 110819) 摘 要 MapReduce是 一种典型的分布式计算模型 ,一经提出就被迅速应用到大 数据处理系统中 .文 中 认 为 MapReduce系统在能耗方面存在优化空间 .对于一个分布 式并行计算系统 ,任务的并行性对任务执行性能影响显 著 ,并行性保证方法在优化性能的前提下还应该 考 虑 系 统 能 耗 .在 MapReduce系 统 中 ,传 统 的 Map 任 务 分 发 算 法 采 用 “小 任 务 多 次 分 发 的 策 略 ”,这种策略虽然保证了并行性 ,但会浪费节点的处理能力 ,消耗额外的能量 ;而 Reduce任务分发算法尚不能保证 Reduce任 务 间 的 并 行 性 .文中提出通过动态地调整 Map 任 务 和 Reduce任 务 大 小 ,也即任务处理数据量的规模来保证任务并行性 ,降 低 MapReduce系统的整体能耗 .文中通过实验证明该方法能 够有效地降低典型 MapReduce作 业 的 能 耗 . 关 键 词 MapReduce;能 耗 ;能 耗 优 化 ;任 务 分 发 ;并 行 性 ;云 计 算 ;大 数 据 中 图 法 分 类 号 TP311 DOI号 10.11897/SP.J.1016.2016.00323 ATaskDistributionAlgorithmforEnergyConsumption OptimizationofMapReduceSystem SONGJie1) XU Shu1) GUO Chao-Peng1) BAO Yu-Bin2) YU Ge2) 1)(SoftwareCollege,NortheasternUniversity,Shenyang 110819) 2)(SchoolofInformationScienceandEngineering,NortheasternUniversity,Shenyang 110819) Abstract While MapReduceisproposedasatypicaldistributedcomputing model,itcauseda hugerepercussionandappliedrapidlytobigdataprocessing.However,itsenergyconsumption stillcanbeoptimized,forthedistributedparallelcomputingsystem,theparallelism oftasksis the key to performance,the parallelism ensuring approach should consider not only time consumptionbutalsoenergyconsumption.Inordertoimprovetheparallelism,thetraditional Maptaskdistributionalgorithmusethe “finegranulartaskdistributionstrategy”toimprovethe parallelism,butitwastestheenergy;and Reducetaskdistributionalgorithm cannotguarantee theparallelismamongtheReducetasks.Inthispaper,weoptimize MapReducebyadjustingthe sizeofMaptasksandReducetasksdynamically,whichcansaveenergyconsumedby MapReduce system.Thealgorithm proposedtothispaperhasbeenprovedeffectiveinreducingtheenergy consumptionthroughaseriesofexperiments. Keywords MapReduce;energyconsumption;energyc

文档评论(0)

1亿VIP精品文档

相关文档