云计算大数据处理技术在智能电网中分析和应用.docVIP

云计算大数据处理技术在智能电网中分析和应用 　　【摘要】大数据是信息时代的重要产物，在智能电网运用中融入大数据，正确掌握大数据的关键技术，能有效推动电力行业的可持续发展以及坚强智能电网的建设。基于此，本文首先分析电力大数据平台的总体架构以及电力大数据平台架构与电力系统数据流的结合点，然后以此为基础，从集成管理技术、数据分析技术、数据处理技术和数据展现技术四方面分析智能电网运用中的电力大数据关键技术。 　　【关键词】电力大数据；关键技术；智能电网 　　1、电力大数据平台总体架构 　　电力大数据平台总体架构如图1所示，此架构具备一定通用性，适合规划电力企业的大数据。此架构的存储框架是以Hadoop文件系统为基础的分布式文件处理系统，处理框架是以Map Reduce为基础的分布式计算技术。分别以分布式文件处理技术和计算技术为基础，使PB和ZB级的数据存储和查询分析成为可能。此外，此框架还包括传统的数据仓库、大数据调度框架、网络层、操作系统以及数据备份与恢复等模块。 　　电力大数据平台总体架构应该和电力系统里来源广泛的数据流结合，催生实际的产业应用。电力系统作为复杂的高维非线性系统，内部包括信息流、气象流、电力流等多种数据流向。图2是以电力系统总体平台架构为基础的电力企业商业应用和电力系统内部数据流的可能结合点，包含发电、输电、变电、配电、用电等多个环节的负荷控制系统、电能计量系统、管理信息系统、风电光伏功率预测系统、监测控制及数据采集系统等。 　　2、智能电网运用中的电力大数据关键技术 　　2.1集成管理技术 　　电力企业数据集成管理技术就是将两个及其以上的应用系统数据合并起来，创建出功能更多的企业应用。就集成角度而言，就是在存储介质或是逻辑上将各种来源、性质、特点以及格式的数据集中起来，为系统存储各种面向集成的、主题的、较为稳定的以及能呈现历史变化的数据集合，确保系统数据共享的全面性。 　　电力大数据集成管理技术包括数据抽取技术、关系型及非关系型数据库技术、数据过滤及清洗技术等多种技术。多样性是大数据的显著特点之一??这就决定了其数据来源的广泛性和数据类型的复杂性，也给大数据的处理带来了很大挑战。要处理好大数据，首先就要抽取并集成数据源数据，从中罗列出实体与关系，经过关联与聚合处理后再用统一结构保存这些数据。在集成与提取数据时要做清洗处理，确保数据的质量和可靠性。 　　2.2数据分析技术 　　大数据技术的根本驱动力就是实现信号到数据的转换，先把数据转化成信息，再把信息转化成知识，通过知识实现决策与行动。利用电力大数据分析技术可在海量电力系统数据中找出隐藏的规律和模态，给决策人员提供支撑。相较于传统逻辑推理研究，大数据研究是对海量数据进行统计性的搜索、比较、分类等处理，所以延续了统计科学的某些特点，如统计学关注的数据关联性或是相关性（相关性即指两个及其以上变量的取值间存在一定规律性）。做相关性分析主要是为了找出数据集里潜在的关系网，通常用可信度、支持度等参数进行反映。 　　就根本来说，电力大数据分析技术是传统数据挖掘技术在大量数据挖掘下的新发展。但因为大数据具有量大、增长快、种类多的特点，除了包括结构化数据还包括半结构化数据与非结构化数据，所以很多传统的数据挖掘方式已经不能满足需求。大数据环境下的数据挖掘和机器学习算法可从以下三点入手：一是从大数据治理、抽样及特征选择着手，把大数据转变为小数据；二是实施大数据下的分类算法、聚类算法研究；三是实施大数据并行算法，把传统数据挖掘方式做并行化处理后再运用到大数据知识挖掘中。 　　2.3数据处理技术 　　电力大数据的数据处理技术主要有三种，即分布式计算技术、内存计算技术和流处理技术。其中，分布式计算技术主要负责大规模数据的分布式保存和处理；内存计算技术主要负责高效读取数据以及处理在线的实时计算；流处理技术主要负责对实施到达以及规模与速度不受控制的数据进行处理。 　　分布式计算技术属于新的计算方式，主要研究怎样把需要强大计算能力解决的问题分解成多个小块，再将小块分配给多个计算机进行处理，最后综合处理结果即为最终结果。分布式计算技术的典型代表就是谷歌公司推出的Map Reduce编程模型。此模型先分解需要处理的数据，将其分配给多个Map任务区进行处理，然后根据键值保存到本地硬盘，接着在用Reduce任务根据键值汇总结果，最后输出最终结果。分布式计算技术适合在电力系统中采集大规模分散数据源时使用。 　　内存计算技术就是把所有数据都放在内层里操作，此技术解决了对磁盘读写操作时耗时量大的问题，计算速度也得到大幅度提升。内存计算技术的迅速发展与广泛运用得益于大数据浪潮的来临以及内存价格的降低。EMC、SAT以及甲骨文都相继推出了内存计算解决方法，把以往客户需要以天作为时