论智能变电站海量在线监测数据处理方法.docVIP

论智能变电站海量在线监测数据处理方法 　　【摘 要】我国电力事业的高速发展，对变电站数据状态监测的可靠存储与方便快速查询提出了更高的要求。本文首先阐述了智能变电站变电设备在在线监测系统，通过对现阶段智能变电站在线监测数据的特点和Hadoop 云计算计算特点的分析，提出了基于Hadoop的智能变电站在线监测数据处理的方式，构建了Hadoop 在线监测数据处理平台，希望对相关研究领域提供借鉴经验。 　　【关键词】智能变电站；数据监测；Hadoop；查询；处理 　　1 智能变电站变电设备在在线监测系统 　　智能变电站主要是指利用现代化信息技术，通过智能设备自动实现信息采集、数据测量以及实时监控等功能，并能够完成智能调节、协同互动及分析决策等普遍变电站无法实现的工作。根据智能变电站的技术要求及相关的技术规则，智能变电设备的在线监测系统的结构如下图1 所示。 　　图1 智能变电站设备的在线监测系统结构 　　各个地级市中的变电站都有自己的在线监测接入控制器（CAC），主要是对在线监测到的数据进行收集，其中包括了电抗器监测、电容器监测以及断路器监测等多种数据，当把这些相关数据收集完之后，需要对这些数据进行合成处理，处理过后会生成相应的在线监测数据记录，再通过变电设备监测数据的交换，最后传给网省公司的在线监测接入网关机（CAG）里。接下来，网省公司中的变电站会对传入的监测数据进行汇总，同时要与变电站进行通信，完成对变电站的维护、升级及异地控制等工作，并要把收集处理合成的在线监测到的数据传送给主站系统。变电站的主站系统通过对变压器 、避雷器以及断路器等电气设备状态的监测，可以把这些设备的状态监测数据进行汇总，从而能够实现全面分析、故障监测以及状态评估等功能，同时又为数据挖掘和辅助决策等高级功能的实现提供相关的技术支持。主站系统在线监测数据的查询与存储性能的好坏直接影响着主站系统在线监测数据处理平台运行的稳定性与安全性。 　　2 智能变电站在线监测数据处理平台 　　2.1 在线监测数据的处理架构 　　Hadoop是一个分布式的技术框架，它能够在一些功能较差的硬件备设上实现密级数据运算，扩展性良好。通过利用Hadoop技术建立起来的在线数据处理平台，能够有效解决海量在线监测数据的查询与储存问题，同时又能够为高级运行功能的实现创造一个有利的计算环境。 　　以Hadoop为基础的在线监测数据处理平台，可以把电力系统主体及各省网电力公司中数据中心服务器、查询及储存等硬件设备资源进行虚拟化，把它升级成云节点，把虚拟机作为单位来进行统一化管理。利用虚拟化基础设备能够把数据中心的维护和管理工作进行简化，进而提高服务的扩张性与操作性。在虚拟平台基础上，建立起Hadoop在线监测数据的处理集群，通过Hadoop 分布式的文件系统和面HBase分布式的数据库系统，能够为海量在线监测数据提供出可靠的查询与存储服务，并能够为更高级别的辅助决策与数据挖掘提供出便利。变电站在线监测系统把监测到的各种数据储存到在线储存系统中，利用在线海量监测数据系统对海量数据信息进行处理。 　　2.2 建立在线监测数据索引 　　分布式结构化数据库（HBase）的表格结构主要是由行键、时间戳及列族构成。行键是整个表格中的主键，表格中的记录内容需要根据行键的顺序进行排列；时间戳表示的是每次实践操作所对应的时间；而列族则是由多个没有硬性条件规定的列项组成，能够根据实际需要进行动态扩展。通常情况下，行键要设置成监测类型的代号编码，比如，031001表示的是电抗器和变压器的顶层油温，031002代表的是电抗器和变压器的局部放电量；列族中所要表示的就是智能变电站在线需要监测的相关数据内容，比如监测时间、监测到的装备标志与编码等。其中设备的标码需哟采用国家统一的标记方式，其格式为：xxMxxxxxxxxxxxxx，整个编码由三个部分组成，第一个部分xx表示的各个省网公司的标志；第二部分M是一个固定的标识；第三部分则是一个14位的流水号标识。HBase的表格结构见下表1。 　　表1 HBase表格结构样式 　　行健 时间戳 列 族 　　监测时间 监测设备编码 顶层油温/℃ 　　031001 T1 2014-9-22 25M00000005482689 75 　　031002 T2 10：00 　　数据索引表通常是一个行键只能对应一个索引，之后凭借整个表格中的行键实现所要检索到的范围。这种方式扫描频率较高，但是操作不够方式不够简便，在数据汇总上会出现问题。因此，为了提高数据查询效率，可以将索引进行合并，把索引字段进行组合。 　　3 在线监测数据快速查询 　　（1）变电站和省网变电站主要对在线监测数据进行收集，之后再传送到分布式文件系统集群中， 目前主要是采用二进