大数据处理中基于热感知的能源冷却技术-计算机工程.PDF

第41卷　 第4 期 　 计 算 机 工 程 2015年4 月 　 　 Vol.41　 No.4 　 Computer Engineering April2015 ·先进计算与数据处理 · 文章编号:1000-3428(2015)04-0041-07　 　 　 文献标识码:A　 　 　 中图分类号:TP391 大数据处理中基于热感知的能源冷却技术 金伟林,陈国顺 (浙江财经大学东方学院,杭州310018) 摘　 要:大数据极速发展使超大型大数据分析平台不断涌现,导致能源成本急剧上升。 为保证服务器的热可靠性, 提出一种以数据处理为中心的能源冷却成本技术。 该技术考虑了服务器不均衡热力特性、热力稳定性负载阈值差 异以及集群大数据语义差异等,对文件进行主动式热感知布局,从而在不影响性能的前提下降低冷却能源成本,保 证大数据分析集群的热可靠性。 基于Yahoo公司一个月的真实大数据分析对该技术进行评估,实验结果表明,该 技术可使冷却成本下降42% ,总体性能是当前无关冷却技术的9倍。 关键词:大数据;热感知;热可靠性;服务器;能源冷却成本;集群 中文引用格式:金伟林,陈国顺.大数据处理中基于热感知的能源冷却技术[J].计算机工程,2015,41(4):41-47. 英文引用格式:JinWeilin,Chen Guoshun.Energy Cooling Technology Based on Thermal-aware in Big Data Processing[J]. Computer Engineering,2015,41(4):41-47. Energy Cooling Technology Based on Thermal-aware in Big Data Processing JIN Weilin,CHEN Guoshun (East College,Zhejiang University of Finance Economics,Hangzhou 310018,China) 【Abstract】 Explosion in big data has led to a surge in extremely large scale big data analytics platforms,resulting in burgeoning energy costs. In order to ensure the thermal-reliability of the servers,this paper proposes a data-centric technology forreducingcoolingenergycosts.Itconsiderstheuneventhermal-profileoftheservers,thedifferencesintheir thermal-reliability-drivenloadthresholds,anddifferencesinthedata-semanticsofthebigdataplacedinthecluster.Based on thisknowledge,theproposedtechnologydoesproactive,thermal-awarefileplacement,which ensurestoreducecooling energy costsand ensuresthermal-reliability in the big data analytics cluster without any performance impact.Evaluation results withone-monthlongreal-worldbigdataanalyticsproductiontracesfromYahooExperimentalresultsshowthatthe tech