分布式计算技术在电网计量运行数据分析中的应用研究.docx

?

?

分布式计算技术在电网计量运行数据分析中的应用研究

?

?

杨茗王雷刘斌王轶

摘要：智能电表及低压集抄改造是深化电力体制改革和互联网时代背景下，打造智能电网，实现电力营销精益管理的必然要求。随着省级计量自动化系统的应用深入，针对计量运行数据的深化应用是实现计量精益化工作的重点，而计量采集数是按分钟级进行采集存储，数据维度广、采集频率高、数据存储量大，通过传统的分析方式无法完成如此大量而复杂的数据分析工作。本文提出通过构建分布式计算技术，解决目前计量运行数据分析中的技术难题。

关键词：分布式计算;数据分析;计量运行数据

：TM73：A：1671-2064（2019）03-0146-02

0引言

随着数字化电网及移动通信网络的发展，要求电网发展向更加智能、高效、可靠、绿色方向转变，企业管理向精益化方向转变，同时结合目前电力体制改革和互联网+战略的发展诉求，对电网企业电能计量业务提出了更高的要求。目前电网计量业务朝着省级集中方向发展，实现全省计量业务的统一化、规范化、一体化开展，在支撑电网常规计量业务开展的基础上，进一步需要开展针对计量运行数据的深化应用分析，提升电网企业在计量故障识别、数据采集率、实时线损、停电准确性等方面的深化应用。

1计量运行数据分析现状

目前计量数据涵盖电力负荷、厂站电能量、配变监测、低压集抄不同维度的数据，涵盖数据范围包括：电压、电流、潮流、表底、功率因素等不同数据，历史数据存储了几年以上，需要把“沉睡”的数据变为有价值应用。计量运行数据具有如下特点：

（1）数据量大：计量自动化系统目前涵盖电力负荷管理、厂站电能量采集、配变监测、低压集抄四类数据，计量点数量多，采集的数据类型包含：电流、电压、表底、功率因数等不同维度的数据，数据采集周期比较短，加上计量自动化系统上线运营的时间比较长，已经积累了几年的历史数据，数据量极大。（2）数据变化快：系统每天都会产生业务归档数据，计量数据采集频率较高，不同类型的数据时刻在发生着变化，即使同一只计量设备的数据，也随着电网的运行时刻发生着变化。（3）數据维度广：计量自动化系统涉及到电压、电流、潮流、表底、功率因素等不同数据，不同维度的数据存储结构复杂多样，存储字段类型多。

目前电力企业已经进行了一些有益尝试。例如，建设基于数据中心的数据资源管理平台，围绕数据采集、存储与计算相关技术，完成初步技术探索，大幅提升了数据治理效率，显现出良好的应用效益，不仅使得分析效率提升数倍，还将硬件成本降低了50%以上，为后续构建企业级大数据平台奠定理论基础。

2基于分布式计算技术的分析

2.1分布式计算技术简介

分布式计算是一种计算方法，和集中式计算是相对的。有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

2.2基于lts+zookeeper的分布式分析框架

（1）LTS分布式任务调度。LTS（light-task-scheduler）是一个轻量级分布式任务调度框架，参考hadoop的部分思想。有三种角色，JobClient，JobTracker，TaskTracker。各个节点都是无状态的，可以部署多个，来实现负载均衡，实现更大的负载量，并且框架具有很好的容错能力。（2）Zookeeper分布式应用协调。ZooKeeper是一个分布式的开源的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

如图1所示，计量数据分析任务可以向所有集群组提交，也支持向单个群组提交，例如：表码分析任务比较大，可以配置让所有集群组参与计算;亦可以根据业务规模估算任务与集群组处理的配置关系，比如：末端停电用户分析任务需要快速处理，可由单独的集群组进行计算处理。

2.3基于Mycat+Mysql的分布式存储

（1）Mycat数据库中间件。Mycat是基于阿里开源的Cobar产品而研发，具有Cobar的稳定性、可靠性、可扩展等优秀特点。它核心原理就是拆数据，将一个张表的数据通过某个字段进行水平拆分后存到多张表中，如图2所示，通过路由字段去不同的数据库中查询数据，同时也存在一定缺陷，那就是查询语句中如果没有路由字段Mycat将不知道该数据在那个分片数据库上，会查询所有的分片，在返回结果给客户端。

（2）Mysql数据库存储。MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方