运检管控系统获取实时数据的研究应用.docVIP

运检管控系统获取实时数据的研究应用

目录

TOC\o1-9\h\z\u目录 1

正文 1

文1：运检管控系统获取实时数据的研究应用 2

一、前言 2

二、技术分析 2

三、技术方案 2

1.数据抽取层 2

（1）数据收集 3

（2）数据传输 3

（3）数据应用 3

2.部署架构 4

四、应用效果 4

1.数据完整性高 4

2.数据实时性高 4

3.资源占用低 5

4.兼容性高 5

5.对数据库系统性能影响小 5

五、结论 5

文2：论述低压配电网运行实时数据的监测与控制 5

原创性声明（模板） 12

正文

运检管控系统获取实时数据的研究应用

文1：运检管控系统获取实时数据的研究应用

一、前言

运检管控系统通过对输电、变电、配电设备的状态分析、风险预警、故障研判，一方面提高设备检修工作的针对性和有效性，减少设备检修工作量和综合检修费用；另一方面减少因检修而带来的设备停电时间，降低主要输变电设备计划停运率，最终实现运检业务和管理信息化、自动化、智能化。

运检管控系统业务数据，绝大部分来自于PMS2.0系统，通过从PMS2.0系统中接入电网设备台帐和电网运维检修信息，并在此基础上进行数据的多维度分析及综合展示，实现提升设备状态管控力和运检管理穿透力，实现主网稳定、大检修体系高效运转的目标。

二、技术分析

PMS2.0数据库Redo日志中记录了数据库的所有变化操作与操作数据，通过自定义捕获进程对Redo日志进行实时分析，抽取变化的数据，还原执行SQL语句，并用统一格式暂存为队伍文件。将队列文件经过加密传输到运检管控端，由运检管控端将队列文件解析后，经过数据转换与数据处理，以SQL提交的方式提交到备库，实现数据库复制。数据复制如下图所示：

三、技术方案

通过PMS2.0生产库实时捕获技术集成相应的数据转后存储在管控系统数据库（Oracle），且在实时感知后异步驱动相关统计数据值的更新。

1.数据抽取层

数据抽取层在业务数据获取上采用了Oracle数据归档日志解析方式来获取基础数据，主要通过以下步骤实现：

（1）数据收集

数据抽取时，通过源端进程结合数据抽取接口来收集数据，此进程几乎不对源端数据库产生开销。

源端进程驻留在源数据库系统上，自动读取Oracle的归档日志文件。这种读操作是从操作系统的角度来完成的，而不是通过数据库。通过将日志文件作为获取变化信息的源泉，可以完成数据的收集而不会给PMS2.0系统带来额外开销。由于Oracle使用日志文件进行系统恢复，因此日志文件信息足够，其数据格式也足够稳定。

源端进程连续监控日志文件用以收集变化信息。源端进程将判断归档日志中的变更是否属于被收集对象，如果是。则将其加入数据文件中（数据文件存在于数据库之外）。数据文件将被发送到目标系统中，从而在目标系统中完成相应的操作。

（2）数据传输

数据抽取过程中，结合其自身的网络协议和TCP/IP协议来完成源和目标系统之间的数据文件传输。其相关进程会确保数据文件的正确接收和网络数据包的正确顺序，并提供网络传输冗余，以确保数据文件的完整。整个数据文件传输过程无需其他的中间件。

（3）数据应用

数据抽取目标端进程将传送到目标系统中的信息结合数据集成模型转化为SQL语句，然后发送给Oracle执行。

其中，能够实现精确数据同步的一个重要原因就是其能保证从源端数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而且也复制山下文信息，将源数据库中发生变化的全部事务信息都复制到目标数据库中。

2.部署架构

通过分布式设计，各进程模块相互独立，通过数据流进行交互，耦合度低。在系统部署上，各进程模块既支持独立部署模式又支持集中部署模式，具体部署架构根据运行环境负载与复制业务集成程度来决定，三种常规部署架构如下图所示。常规架构一的部署方式是通过新增预处理服务器和装载服务器的方式，分别提高数据预处理和装载的效率，同时可降低目标数据库服务器压力；常规架构二的部署方式是通过新增预处理/装载服务器的方式，在提高中间数据处理效率的同时，可以降低目标数据库服务器的压力；常规架构三的部署方式支持在不新增服务器的情况下，系统相关进程分别部署在源数据库服务器和目标数据库服务器上。系统管理web应用部分单独部署，网络可达即可。

为减轻PMS2.0系统数据库服务器压力，提高中间数据处理效率，结合管控系统实际，最终采用常规架构二进行部署，即新增预处理服务器实现数据同步。

四、应用效果

1.数据完整性高

本技术支持绝大多数的对象和操作类型，保证了每个数据库事务在源系统与目标系统间的一致性，保证从源数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而