Hadoop框架在电力大数据平台中的应用参考.pdfVIP

V01．36NO．2 河北电力技术 第36卷第2期 Apr．2017 HEBEIELECTRICPOWER 2017年4月 Hadoop框架在电力大数据平台中的应用 刘伟娜，董 娜 (国网河北省电力公司电力科学研究院，石家庄050021) 摘要：针对大数据框架体系数据存储和计算问题，提出采用Hadoop框架对海量大规模数据进行处理，分析该框架的组成、优 势和安全机制，并说明Hadoop框架在电力大数据平台中应用情况及应用效果。 关键字：大数据；Hadoop；安全机制； 中图分类号：TM769文献标志码：A 文章编号2017)02—0035—04 of Frameworkin Data ApplicationHadoop Big Liu Na Weina，Dong (StateGridHebeiElectricPowerResearch 050021，China) Institute，Shijiazhuang Abstract：Fordata and of dataframework the frameworkto storagecomputationbig system，proposedusinghadoop process massive framework and mechanism，and and data，analyzed compostion，advantagessecurity explainedapplicationapplication effectof frameworkintheelectric data hadoop powerbig platform． Keywords：Big Mechanism Data；Hadoop；Security 升公司的核心竞争力。大数据体系框架总体上包 0 引言 括数据整合、数据存储、数据计算、数据分析、平台 在电力行业，特别是全面加快全球能源互联网 服务五个层次。在大数据架构体系中数据如何存 发展的重要时期，在输变电智能化、智能配用电、源 储和计算成为关注的焦点，而Hadoop分布式存储 网荷协调优化、智能调度控制、信息通信等领域中 和计算框架以低成本、可靠性高、容错强、扩展性 数据的精细化程度要求越来越高，数据呈爆炸式增 高、处理速度快等优势备受青睐。 长，产生的数据量达到PB级别，且数据类型结构 1 Hadoop框架的组成 多样。同样金融业、电信运营业、互联网与电子商 务等行业随着应用需求的日益旺盛，也面临着数据 规模大，增长速度快，数据形式复杂多样的困境。 算提供可靠、高效、可伸缩的开源软件框架，可通过 自2000年以来，全球的数据总量呈现指数级增长， 集群廉价普通机器完成大量数据的分布式高速计 预计到2020年，全球电子设备存储的数据将暴增 算和存储，允许用户在不了解底层细节的情况下， 至35．2 ZB。这些海量的数据同时也带来了数据无 使用分布式程序。其特点在于能够存储并管理PB 法存储和无法计算的问题。由此产生了“大数据” 级数据，可以很好地处理非结构化数据，擅长大吞 概念。