智能电网大数据关键技术 .docVIP

智能电网大数据关键技术 根据信息处理流程，大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用6个环节，其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。 　　1、数据集成技术 　　智能电网大数据具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据，首先就需要对众多数据源的数据进行集成，通过数据抽取、转换、剔除、修正等处理，建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。 　　ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load，即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据；数据转换是将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能，各个ETL工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。 　　数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统，这些系统类型和特征复杂，在实时性要求、数据规模、数据类型等方面存在较大的差异，在智能电网大数据集成中需要综合考虑各种因素，在集成技术上单一技术可能很难实现，需要结合多种技术来实现智能电网大数据的集成。 　　2、数据存储技术 　　在智能电网大数据中，绝大多数数据为结构化数据，同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式数据库，对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。 　　2.1 分布式文件系统 　　分布式文件系统适合存储海量的非结构化数据，将数据存储在物理上分散的多个存储节点上，对这些节点的资源进行统一管理和分配，并向用户提供文件系统访问接口，主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。 　　Hadoop是大数据的一个解决方案，可以实现大数据的存储、分析和管理。HDFS （Hadoop Distributed File System）是一个分布式文件系统，它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块，存储在多个数据节点组成的分布式集群中，当数据规模增加时，只需要在集群中增加更多的数据节点，具有很强的可扩展性；同时每个数据块会在不同的节点中存储多个副本，具有高容错性；由于数据是分布存储的，具有高吞吐量的数据访问能力。 　　2.2 分布式数据库 　　大数据环境下对数据的存储、管理、查询和分析需要采用新的技术，传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性，在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。 　　HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它不同于一般的有模式的关系型数据库，HBase存储的数据表是无模式的，特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统，可利用Map-Reduce技术来处理HBase中的海量数据。 　　2.3 关系型数据库系统 　　智能电网中很大一部分数据是结构化数据，针对一些数据和业务应用，传统关系型数据库可能更适合，因此在大数据环境下，传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库，开展智能电网业务的分析挖掘。 　　智能电网大数据结构复杂、种类繁多，其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能，从整体上对存储在不同系统上的数据进行统一管理，并提供数据索引和查询功能。综合以上分析，数据存储对比见表1。 　　3、数据处理技术 　　智能电网大数据的应用类型多，需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求，大数据处理技术分流处理、批处理、内存计算、图计算等。 　　3.1 流处理 　　流处理的处理模式将数据视为流，源源不断的数据组成了数据流，当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点，因此通常不会对所有的数据进行永久化存储，而且数据环境处在不断的