一种能效优化的MapReduce资源比模型.pdfVIP

第 38卷 第 1期 计 算 机 学 报 Vo1．38 No．1 2015年 1月 CHINESEJOURNAL 0FC0MPUTERS Jan．2015 一 种能效优化的MapReduce资源比模型 宋 杰。 刘雪冰’朱志良。 李甜甜 赵大哲。’ 于 戈。’ (东北大学软件学院 沈阳 110819) ’(东北大学信息科学与工程学院 沈阳 110819) 摘 要 随着云计算的快速发展，IT资源规模的不断扩大导致能耗 问题 日益凸显．为降低MapReduce编程模型带 来的高能耗，文中研究Map／Reduce任务的资源消费特征及该特征与能效的关系，旨在寻找一种能够指导资源分配 和任务调度的资源模型，进而实现能效优化．文中提出任务的能效与任务被分配的资源量无关，而与其被分配的各 种资源的资源量 比例相关，且存在一个 “最佳资源 比”使得能效达到最高．基于此，文中首先提出了普适的资源和能 效模型，从模型层面证 明最佳资源比和能效之间的关系，量化空闲资源量和空闲能耗 ；随后分析MapReduce编程模 型，将普适资源 比模型变换到MapReduce下．通过抽象的数据的 “生产者一消费者”模式 ，求解 Map／Reduce任务的 最佳资源 比；最后 ，通过实验从任务能效和空闲能耗两个角度证 明了最佳资源 比的存在 ，并根据实验结果，对 MapReduce执行过程进行划分，给出了部分 Map／Reduce任务 的最佳资源 比．最佳资源 比的提 出和求解将有利于 基于该最佳资源 比的任务调度和资源分配算法 的研究，进而实现 Map／Reduce任务能效的提高． 关键词 云计算 ；能效；资源 比；MapReduce 中图法分类号 TP311 DOI号 10．3724／SP．J．1016．2016．00059 AnEnergy—EfficiencyOptimizedResourceRatioM odelforM apReduce SONG Jie LIU Xue—Bing ZHU Zhi—Liang¨ LITian—Tian ZHA0Da-Zhe YU Ge )(Solftu．)areCollege，NortheasternUniversity，Shenyang 110819) (SchoolofInformationScienceandEngineering，NortheasternUniversity，Shenyang 110819) Abstract W ith therapiddevelopmentofcloudcomputing，theexplosionofIT resourcesbrings serioushighenergyconsumptionproblems．TooptimizeenergyconsumptionofM apReduceappli— cations，weanalyzeresourceconsumptioncharacteristicsofMap／Reducetaskanditsrelationships withenergyefficiency，andaim atfindingaresourcemodelthatcouldprovideguidanceonhow to optimize energy-efficiency by using morereasonable resource allocation and task scheduling approach．Thepaperproposesthattheenergyefficiencyoftaskisirrelevanttotheresourcequantity allocatedtoit，butrelevanttoacertainratioofmultipleallocatedresources，andthereexistsa bestr