MapReduce环境中的性能特征能耗估计方法.pdfVIP

第 49卷 第 2期 西 安 交 通 大 学 学 报 Vo1．49 NO．2 2015年 2月 JOURNALOFXI’AN JIA0TONG UNIVERSITY Feb．2015 DOI：10．7652／xjtuxb201502003 MapReduce环境中的性能特征能耗估计方法 樊源泉，伍卫国，许云龙 ，高颜 (西安交通大学电子与信息工程学院，710049，西安) 摘要 ：针对 MapReduce系统 中负载能耗特征 多样性为系统成本调度带来的负载与节点难以匹配 的问题，提 出一种基于负载性能特征的能耗估计方法。该方法以MapReduce系统 中各节点操作系 统的性能事件为依据估计在线负载的能耗。为了提升负载能耗估计结果的准确度 ，采用机器学习 的方法，在 负载执行时，搜集系统的性能特征 ，并建立估计模型的样本集；采用粗糙集理论 中属性约 简方法对性能特征属性进行约简；在性能属性约简的结果之上 ，基于支持 向量机理论 ，建立能耗 的 估计模型，对负载运行时系统的能耗进行准确的估计 。实验结果表明：基于性能特征的能耗估计方 法拥有较高的估计准确率，在单作业环境中平均相对误差为4 ，在 多作业环境 中可达到 4．5 。 关键词：能耗估计 ；性能特征 ；MapReduce 中图分类号：TP333 文献标志码 ：A 文章编号 ：0253—987X(2015)02-0014—06 A PowerEstimationM ethodBasedon PerformanceFeaturesin M apReduceEnvironments FAN Yuanquan，W U W eiguo，XU Yunlong，GAO Yan (SchoolofElectronicsandInformationEngineering，Xi’anJiaotongUniversity，Xi’an710049，China) Abstract：ItisdifficulttoimprovetheenergyefficiencyofMapReduceclustersbymatchingactive nodesto the needsofthe workload since it is difficultto capture thefeatures ofenergy consumption forcOSt—based schedulerfor differenttypesofworkloads．A power estimation methodbased on performance featuresofworkloads isproposed to solve the problem． The method estimatesthe power consumption by leveraging performancemonitoring counterson componentsofworkernodesduringMapReducejobsexecution．A machinelearningmethodis usedto improvetheestimation accuracy．Theperformancemonitoring countersofM apReduce system arecollected tobuildasampleset，andthentherough setmethodisused to selectthe performanceattributesthatshow strong impacton the energy consumption ofworkloads．A powerestimation modelbasedon the leastsquare supportvectormachines isbuiltfrom the attribute reduction results