基于电网调度域设备监测实时数据采集的实现方法.docxVIP

打开文本图片集 摘要：本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术，解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题， 实现电网调度域设备监测数据的实时采集、处理和存储。 关键词：电网运行监控系统;实时数据采集;clickhouse 时序数据库;kafka 集群; 分布式任务调度技术 中图分类号：TM76 文献标识码：A 文章编号：1007-9416（2019）08-0036-03 引言 电力行业是国民经济的基础能源产业，随着社会经济发展，各行业对电力的依赖性明显增强，对供电可靠性及电能质量的要求日益提高。近年来，随着我国电力建设逐渐由发电建设向智能电网建设转移。智能电网的建设，其中重要的技术部分，是解决如何实现设备实时运行数据与业务管理数据的融合和综合利用，即 IT 与 OT 的融合技术。在电网领域，随着大数据技术的兴起，IT 与 OT 的融合技术研究也属于方兴未艾的阶段。电力调度领域广泛使用的 OCS（电网运行监控系统）即是该技术的典型表现。通过 OCS，可在展示页面上监测各设备的实时运行状态、线路的电流值、电压值。但在如何将实时运行数据与业务管理类数据进行关联、融合和利用，仍存在技术上的空白。 为了解决上述问题，本文提供了一种基于电网调度域设备监测实时数据采集的实现方法，从技术上解决目前电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题，本文通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术即 IT 与 OT 的融合技术，实现电网调度域设备监测数据的实时采集、处理和存储，实现对设备运行情况实时监控和管理。 实时数据采集方法 电网调度域的设备监测数据属于时序数据，具有产生频率快、数据量大、数据带有时间标签等特点[1]。针对目前电网调度域设备监测数据采集不及时的问题，本文提供了一种基于分布式任务调度技术、实时流计算技术、海量时间序列数据库技术的实时数据采集方法，可以实现电网调度域设备监测数据的实时采集、处理和存储。 实时流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息。海量时间序列数据库是一种专为时间序列数据优化而设计的数据库。时序数据具有产生频率快、数据量大、数据带有时间标签等特点，基于时间序列数据的特点，传统的关系型数据库无法满足对时间序列数据的有效存储和处理。clickhouse 时序数据库通过使用特殊的存储方式， 可以高效存储和快速处理海量时序大数据，是解决海量数据处理的一项重要技术[2-3]。 分布式任务调度技术 分布式任务调度技术是基于 LTS 框架将大批量的处理任务分配到不同的计算节点上运行[4]。LTS 框架包括三种节点，具体为 JobClient 节点、JobTracker 节点、TaskTracker 节点。各个节点都是无状态的，可以部署多个，来实现负载均衡，实现更大的负载量， 并且框架具有很好的容错能力。JobClient 节点用于提交任务和接收任务执行反馈结果;JobTracker 节点用于接收并分配任务和任务调度;TaskTracker 节点用于执行任务以及执行完任务后将执行结果反馈给JobTracker 节点。 任务分配过程如图 1 所示，JobClient 提交一个任务给 Job Tracker， JobTracker 收到 JobClient 提交来的任务，先生成一个唯一的 JobID， JobTracker 发现有（任务执行的）可用的 TaskTracker 节点（组）之后，将优先级最大，最先提交的任务分发给 Task Tracker。这里 JobTracker 会优先分配给比较空闲的 TaskTracker 节点，达到负载均衡。TaskTracker 收到JobTracker 分发来的任务之后，执行。 任务执行过程如图 2 所示，JobClient 提交任务到 JobTracker，JobTracker 将任务保存到可执行任务队列，然后将任务发送给空闲的 TaskTracker 执行，并把任务移到执行中任务队列，任务执行完成后反馈结果到 JobTracker，如果设置了反馈客户端标识，将结果反馈到 JobClient。 实时流数据处理技术 实时流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息。实时流处理基于 kafka 框架进行实现，kafka 是一个分布式的发布订阅消息系统，它的特性就是可以实时的处理大量数据以满足各种需求场景[5-6]。Apache Kafka 与传统消息系统相比，有以下优势： 它被设计为一个分布式系统，易于向外扩展; 它同时为发布和订阅提供高吞吐量;