基于电力行业云计算大数据架构研究.docVIP

基于电力行业云计算大数据架构研究 　　【摘要】随着智能化电网的建设和电网规模的持续扩大，电力系统产生大量数据，传统的数据处理技术难以满足需求，云计算技术恰好能满足此需求。内容首先研究了基于云计算电力系统大数据的处理方案，其次探究了基于云计算的电力系统大数据的架构。 　　【关键词】电力行业；云计算；大数据架构 　　电力行业是我国国民经济的重要组成部分，是国内经济能够持续、稳定、健康发展的基本保障。随着现代化信息技术和智能电网建设的持续推进和发展，各类电网实时、准实时数据从几百TB快速增加到几千TB，数据增长速度呈现爆发式增长势头，电力行业步入了大数据时代。电力大数据具有如下特征：数据量大、变化迅速、价值高等，传统技术数据处理能力已经难以满足电力大数据大要求，为了获取电力大数据价值，必须建立新支撑体系实现对电力大数据并行处理的管理和处理。而云计算技术属于一种能够通过工业以太网技术能将电力系统的所有数据信息集中形成共享资源池，同时能够实现按需和可度量方式为用户提供所需要的服务，实现大规模计算的信息处理方式。基于此，本文从云计算数据中心角度探究电力系统大数据的架构。 　　1、基于云计算的电力系统大数据处理方案分析 　　在云计算技术模式下，电力行业的人机交互和大数据处理都处于深度融合状态。因此，基于云计算大数据处理的核心关键在于必须以融合思想为基础，将电力系统所有网络数据信息进行协同组织，在此基础上进行融合，以便最大限度将电力系统分散的资源整合为一种整体性的比较优势。 　　在云计算技术模式下，进行海量数据处理的关键点在于系统的构建、电力系统各种分散资源的系统及各种其他辅助技术等。从宏观角度来说，可将整个大数据处理分为混合处理和管理。混合管理的关键是实现对电力系统无线、有限、资源共享、分散数据管理和协同机制管理等；混合处理的关键是融合电力系统大数据处理运行模型和相关辅助技术上。 　　2、基于云计算的电力系统大数据架构 　　云计算技术主要具备下述几方面特点：数据信息网络化、服务自主化及动态化等，其所具有的特性完全满足电力系统大数据的部署和应用。根据电力系统大数据应用的基本需求，云计算技术能够实现动态划分或释放各种不同资源，若要实现对增加资源的处理，可通过适当增加可用资源进行匹配，确保在使用过程中资源的快速弹性提供。若不再需要使用增加资源，可实现对其的自由释放。云计算技术配置动态化，进一步实现了IT资源的持续按需扩展。总的来说，基于云计算技术的电力系统大数据架构主要包括下述几方面： 　　2.1网络架构 　　和传统数据处理方式不同，云计算技术在处理大数据时，实现了传统数据物理模式向逻辑模式的转变，通过构建信息化网络来实现电力系统大数据处理的灵活性和敏捷性，从传统的IP网络转变为SAN网络，对大数据处理的网络进行了进一步的细化分层，增加网络的弹性和柔性。传统的物理网络已经难以适应云计算技术虚拟化的要求，因此通过VXLAN、NVGER等多种方式，将传统物理网络中数据流量类型由二层转变为三层，同时通过增加物理封装，将传统网络拓扑结构中的物理二层转变为逻辑二层，并进行细化分类划分管理，更好的满足不同类型用户的各种需求。 　　在满足云计算数据处理技术的灵活性的同时，还必须实现对大数据信息网络基础结构的集中控制。通过对整个分散数据网络的自动化网络配置，实现管理和处理效率最大化；通过对数据网络的虚拟化处理将传统的物理网络过渡到抽象的虚拟网络，以便将实现大数据处理时的各种策略应用到工作负荷中。采用这种方式具有传统处理方式难以比拟的优势，即当电力负荷被部署或者迁移时，网络配置能够实现自动调节自身设置。 　　2.2主机架构 　　在采用云计算技术处理电力系统大数据时，主机架构起着十分关键的作用，能够结合承载业务特性进行区分，确保整个系统具有可靠的高性能终端，通过大型服务器或者高性能PC服务器集群能够有效处理紧耦合计算任务，如电力系统大型数据库、数据挖掘、财务和营销等；对于电力系统众多通用性计算，可以提供低成本计算和解决方案，尤其是在进行数据处理时对硬件要求较低的中小型应用服务业务，可以通过采用高密度、低成本的密集型集成服务器集群，采用这种模式不仅能够实现数据的处理，还能有效减少电力行业的运营成本。 　　另一方面，基于云计算技术的大数据处理的主机架构模式也发生了根本性的转变，组建成传统的塔式架构转变为池化方式，通过采用现代化的虚拟化技术，有效实现数据处理系统主机资源的整合与优化，同时通过利用Rac One Node等技术实现数据库、中间组成及web层面的虚拟化部署和分布式Hadoop系统，采取这种模式不仅增加了数据处理速度，还能有效降低数据处理系统的各种硬件故障对业务系统造成的不良影响。 　　2.3存储架构 　　基于云计算技术的大数据