一种兼顾负载均衡的Hadoop集群动态节能方法-清华大学学报.PDF

( ) / 清华大学学报 自然科学版 年 第 卷 第 期 ISSN１０００Ｇ００５４ ２０１６ ５６ １１ １６１９ / 　 ( ), , , CN１１Ｇ２２２３N 　JTsinhuaUniv SciTechnol ２０１６ Vol．５６ No．１１ １２２６Ｇ１２３１ g 一种兼顾负载均衡的Hadoop集群动态节能方法 , １２ １ １ １ １ 田文洪 , 李国忠 , 陈 瑜 , 黄超杰 , 杨吴同 　 　 　 　 　 ( , ; , ) １．电子科技大学 信息与软件工程学院 成都 ６１００５４ ２．中国科学院重庆绿色智能技术研究院 重庆 ４００７１４ 摘 要: 集群广泛应用于企业和研究机构的大数据 , , 　 Hadoop 随着互联网的高速发展 自２００５年以来 信息 . 处理和并行计算中 该文针对 Hadoop集群节点管理中缺 , ( 量的增长呈指数级上升 据互联网数据中心 InterＧ , 少动态负载均衡和节能相互结合的调度技术的现状 提出 , )的调查显示, 年全球被 netDataCenterIDC ２０１１ , 一种动态负反馈调整算法 并设计和实现了一个用于 HaＧ 创建和复制的数据总量为 １．８ZB,并且预测 ２０２０ . doo 平台节点动态管理的系统 通过大量 Hadoo 经典测 [] p p １ 年这个数字将达到 ３５ZB .传统的数据处理和分 , : 试用例测试 结果表明 该算法能够有效提高负载均衡并通 , 析方法受到单机 CPU和内存的限制 在处理海量 , 过减少节点的空闲时间以有效地节能 与未使用本算法的 , 数据时出现计算瓶颈 迫使工业界以及学术界研究 , , .