用电信息采集系统量测数据处理技术的方案.docVIP

用电信息采集系统量测数据处理技术的方案 　　摘 要 随着智能电网信息技术的快速发展，用电信息采集系统自建成后积累了海量的电网采集量测类型的数据，采集量测数据是电网领域的重要数据类型之一，是电网设备状态监控、电网业务辅助决策分析的主要依据，当前用电信息采集系统量测类数据主要采用传统关系型数据库Oracle数据库进行存储。本文提出了基于大数据技术的用电信息系统量测数据处理技术方案，解决了传统关系型数据库用处理效率低的技术问题。 　　【关键词】用电信息采集系统 量测数据 大数据 kafka 　　1 电力大数据现状 　　用电信息采集系统建设理念是通过获取海量的电网电能信息，优化电能的生产、输送、调配以及用户用电消费。用电信息采集系统将承载电力流、信息流、业务流，并且基于此基础在实现用电信息数据的采集、深度处理和分析，实现电能的清洁生产、电能的高效传输、灵活动态分配电能、合理利用电能的智慧电力的目标。随着坚强电网的建设，产生了一大批服务于各个专业的信息采集与管理系统，用电信息采集系统拥有海量的采集量测类数据，构成了电力大数据的来源。量测类数据是电力海量数据中重要的一类数据，系统包括SCADA、WAMS和AMI三类。其WAMS系统采集周期为毫秒级，相比SCADA分、秒级采样周期，WAMS可以准确实时反映电网运行动态信息，带来的数据量增长也是成百上千级。AMI面向的是庞大的用户群体，收集了粒度更细的海量用户用电信息。而传统架构的逐渐暴露出技术不足与局限性，不能够很好的支撑大数据环境下对量测数据的高效计算与深度挖掘。本文提出的基于大数据技术的用电信息采集系统量测数据处理方法，可解决传统关系型数据库用于电力信息系统量测数据处理效率低的技术问题。 　　2 量测数据处理系统设计 　　2.1 模型设计 　　依据Hbase数据库、Redis数据库的特点以及用电信息采集系统量测数据特性设计数据处理系统，该量测数据处理系统能够将同时刻的同一电站所有设备数据逻辑上显示在数据库的同一行，并且在物理磁盘上也存储在相邻位置。因为Hbase是列式存储数据库，海量的列对于数据的访问性能几乎没有影响，并且在Hbase的行存储上是非常稀少的，行存储中没有值的单元不会占用物理存储空间。当用户进行量测数据断面查询时，数据处理系统将能够快速查询得到该时刻具体电站所属区域的所有采集量测数据设备断面值。当用户进行量测数据批量查询时，由于设计了量测数据存储模型与处理方案，对表按照具体类型进行了分表分区，量测类数据分布在服务器集群中，批量查询中集群中的服务器并行处理要查询的数据，查询结果可以快速获取。存储模型如图1所示。 　　2.1.1 表名规范 　　用电信息采集量测数据按照月度进行分表，表名划分为三段，格式为“省（市）公司编码_源业务系统类型码_分表标识”，每段之间用“_”分隔，段内不得使用“_”，表名中英文使用大写，如：ZJ_103_201506表示浙江用电信息采系统2015年6月份的数据。 　　2.1.2 表分区规范 　　存储在HBase表内的数据划分为多个分区进行存储，决定分区数量有两个因素，分别是服务器数量与所存储表的数据量，分区的原则是分区数量设置为服务器数量的整数倍，单个分区的数据量控制在2GB到4GB之间。 　　2.1.3 行键规范 　　行键可修改，将用电采集系统量测数据模型的相层级体现到RowKey的设计中，行键规范的各个层级可以根据具体的表进行定制化的配置，提高了行键配置的灵活度，如用电信息采集系统中量测数据模型行键可划分为四段，格式为“地市级供电单位编码.业务检索字段.采集时间.量测类型”，分隔符为“.”，段内不得使用“.”。例如“CY 01012017040101.BA”表示朝阳台区下2017年1月1日4时1分1秒反向有功。 　　2.1.4 列名规范 　　利用HBase特性，表列数设计与设备数量相等。表列名选用“电能表ID”。例如“1000000201”表示编号为1000000201的电能表。 　　2.2 系统结构 　　用电信息采集系统量测数据处理系统主要包含四个环节，分别是数据对接，即时处理，数据加载与存放以及数据查询。 　　2.2.1 数据对接 　　用电信息采集系统量测数据接入大数据平台前需要定制的对接程序，对接程序的作用有两个，分别是用于传输协议的协调以及对源业务系统数据进行数据模型的转换。对接程序部署在用电信息采集系统与大数据平台的卡夫卡消息队列组件之间，定制的对接程序根据量测数据的类型的不同，分别将数据投递到卡夫卡不同的消息队列中，用电信息采集系统量测数据类型虽然纷乱复杂，但是通过定制的对接程序可以将其分类，有效的投递到卡夫卡不同的队列中。卡夫卡消息队列的优势有三点，分别是