基于Hadoop的用电信息大数据计算服务及应用.pdfVIP

39 卷 11 期 电 网 技 术 Vol. 39 No. 11 20 15 年11 月 Power System Technology Nov. 2015 文章编号：1000-3673 （20 15）11-3128-06 中图分类号：TM 73 文献标志码：A 学科代码：470 40 基于Hadoop 的用电信息大数据计算服务及应用 1 2 2 1 2 王相伟 ，史玉良 ，张建林 ，梁波 ，程翠萍 1．国网山东省电力公司，山东省 济南市 250001； 2．山东大学 计算机科学与技术学院，山东省 济南市 250101 ） Computation Services and Applications of Electricity Big Data Based on Hadoop 1 2 2 1 2 WANG Xiangwei , SHI Yuliang , ZHANG Jianlin , LIANG Bo , CHENG Cuiping (1. State Grid Shandong Electric Power Company, Ji ’nan 250001, Shandong Province, China; 2. College of Computer Science and Technology, Shandong University, Ji ’nan 250101, Shandong Province, China) ABSTRACT: In response to processing requirements of large 0 引言 amounts of power data, processing and computing architectures 随着信息技术和社会的不断发展，如今进入了 are constructed on Hadoop for electricity big data. It uses parallel processing for computation tasks to improve 一个大规模生产、分享和应用数据的时代。大数据 [1] calculation efficiency of power big data. And for complex 的管理需求催生了以云计算 为代表的大数据处理 calculation rules, data dependency, and other characteristics of 技术，用来提高大数据计算分析性能和开发效率。 computing services in electric energy data acquire system, 云计算是并行计算、分布式计算和网络计算的发 MapReduce j obs and their dependencies in the same 展，其核心是海量数据存储和数据并行处理技术， computation service are organized in directed acyclic graph 它是将存储和计算服务分布在大量分布式计算机 form. Using dependency control engine, it performs automatic 上的大规模数据处理技术，能够将计算资源集中起