- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
289、基于归档日志的数据同步服务平台研究与应用
基于归档日志的数据同步服务平台研究与应用
李功新1 刘升1 刘金长2 杨成月2 张翔2
(1福建省电力有限公司,中国 福州 350003)
(2厦门亿力吉奥信息科技有限公司,中国 厦门 361009)
摘要:福建电网构建数据服务平台的目标是通过对基层电网生产数据整合,来提供省公司一级对电网生产管理所需的数据源,构建稳定可靠的电力业务数据支撑平台。在整体架构设计上将其划分为三层,其中数据抽取层通过直接解析Oracle数据库归档日志,来高速有效的获取原始数据;数据转换层采用基于XML的数据抽取接口,来屏蔽各基层电网生产数据的差异性;数据集成层通过建立具有福建电网自身业务特色的数据集成模型,使数据既能保证现有业务需求又能满足后期业务扩展需要。该平台的设计方案和技术路线对于电力行业中相关数据同步系统的建设具有一定的参考意义。
关键词:数据同步;归档日志; GPMS;CIM模型
1概述
2007年,福建电力在全省各地市级电网部署、安装了电网生产管理系统基层版(Grid Production Management System,GPMS),使福建电力输变电生产管理的规范化、信息化水平上了一个新的台阶。GPMS系统基于GIS理论并结合电力生产业务加以实现,同时根据业务需求分别在各地市部署了基层版并在省公司部署了省公司版。省公司GPMS系统业务数据来源是各基层版的业务数据,同时根据业务需求作相应的转换、集成,主要具有如下三个方面的功能:
基层版与省公司版数据的同步
根据GPMS系统各版本面向的对象不同,省公司版需要抽取、同步、复制各基层GPMS系统的数据,来为省公司版系统的各项业务提供数据支持。因此,必须建立一套机制和体系,在确保数据库性能和安全的情况下,让基层公司业务数据库中的数据有选择性地在受控的情况下同步到省公司的数据库中。
业务与负载均衡
在数据同步过程中,需要确保在海量数据的抽取、同步及复制时,现有系统业务仍然可以顺利开展,不对现有的业务处理造成任何性能上的影响。
数据中心的建设
为在当今市场竞争中保持优势,越来越多的电网公司在建设数据中心系统,以便为公司的决策支持系统提供稳定、可靠的数据源。如何为数据中心提供完整的数据抽取、转换和装载的解决方案,一直是信息化建设面临的挑战,同时也是平台建设所需达到的目标。
2 平台分析
数据同步服务平台研发的关键在于:
与GPMS系统无缝集成
电力系统本身特点决定了为保证供电的可靠性,电力系统生产环境中所采用的软硬件系统必须能够保证7*24小时无间断稳定运行,这就要求在实现数据同步时所采用的技术实现方案,必须要能够同现有的GPMS系统实现无缝集成。即要求数据同步服务平台在部署时不会中断现有系统业务运行,因为即便是有计划的业务中断,也会对电力企业造成巨大的损失,大大降低服务质量和客户满意度。
据业界估计,80%的停机时间都源于计划的下线,其中包括软件系统部署、升级和硬件迁移等。因此尽量缩短软件系统部署过程所需要的时间是提高系统连续运行的关键,因此,如何保证数据同步服务平台同现有GPMS系统的无缝集成,并尽可能的缩短平台部署时可能造成的业务中断时间是本项目最关键的环节之一。
屏蔽数据差异性
GPMS基层版设计目标针对的是各个地方局的生产业务。由于地域性的差异,在描述相同业务上,也可能会存在数据格式、数据编码上的不一致,因此在数据同步过程中需要对数据差异性进行屏蔽,将其进行统一的转换,保证在省公司进行数据集成时具有统一的数据编码格式。
3)满足业务发展需求
省公司和基层局由于组织定位的不同,即使对于相同的业务,所要求的数据结构和编码也会不尽相同,因此在数据集成时,要根据相关需要建立起相应的数据集成模型,来描述相关业务,以便满足省公司层面对于业务数据的需求。同时,建立的业务模型还需要满足后期业务发展要求,并可方便灵活地进行修改和扩充。
基于以上三个关键出发点,在平台架构的设计上采用分层设计思想,将其划分为三层(图1)。其中,数据抽取层负责从基层版中获取基础数据;数据转换层负责屏蔽各基层版数据间的差异性;在数据集成层中增加省公司相关业务需求,并对各基层版数据进行集成转换以满足业务需求。
图1 系统层次结构
3 平台设计
3.1 数据抽取层
图2 数据抽取层工作逻辑
数据抽取层在业务数据获取上采用了Oracle数据库归档日志解析方式来获取基础数据,主要通过以下步骤实现数据同步(图2):
数据收集
数据抽取时,通过源端进程结合数据抽取接口来收集数据,此进程的独特之处在于它几乎不对源端数据库产生任何开销,主要体现在以下几个方面:
源端进程从Oracle归档日志文件中读取信息,因此收集过程不会给生产数据库实例带来性能问题;
只
您可能关注的文档
- 2-3-1资料型别的分类与长度.ppt
- 2. 求出受试化合物对藻类生长抑制的EC50.PPT
- 2. 核电荷数=质子数=核外电子数.PPT
- 2. 作物营养最大效率期.PPT
- 2. 纳米技术在城市垃圾处理中的应用 - Cross Ocean Labs.DOC
- 2-1电脑的基本单位.ppt
- 2.1电源和电流-扬中市第二高级中学.ppt
- 2 瞬时速度 - 点.PPT
- 2.2.含萃取及反萃取支撑式液膜(分散反萃取相)装置.doc
- 2.2声音信号数字化.ppt
- 2024年01月山西省岚县人民法院2024年招考3名司法辅助人员笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月宁夏银川市贺兰县人民医院岗位招考聘用11人笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月山东烟台莱山区结合事业单位招考聘用征集本科及以上学历毕业生入伍18人笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月广西玉林陆川县公开招聘重点领域急需紧缺(高层次)人才60人笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月广东中山市南头镇人民政府招考聘用合同制工作人员3人笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月政协富宁县委员会委员联络服务中心(云南省)2024年考察调(流)动3名工作人员笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月广州市海珠区琶洲数字经济创新发展服务中心2024年公开选调1名事业编制工作人员笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月宁波市鄞州区市场监管局2024年招考3名编外人员笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月山东省淄博市文昌湖省级旅游度假区事业单位2024年度面向喀什籍高校毕业生综合类(定向)岗位公开招考工作人员笔试历年典型考题及考点剖析附答案详解.docx
- 2024年01月山东聊城东阿县教育类事业单位引进优秀青年人才3人笔试历年典型考题及考点剖析附答案详解.docx
最近下载
- 《GBT 2423.22-2016电工电子产品环境试验 第2部分试验方法-2016.》.pdf
- 《工程勘察设计收费标准》(2002年修订本)-完整版-1.pdf VIP
- 学校创建健康学校申请报告.docx VIP
- 2024年高考全国甲卷化学试题深度解读及复习备考指导.pdf
- 三年级数学万以内加减法竖式练习题及答案(三年级数学计算题100道).pdf
- 人教版高中数学选择性必修一全套教材例题课后习题变式及答案解析.pdf
- 部编版语文五年级上册第12课《古诗三首》精美课件.pptx VIP
- 2024年理发剪行业分析报告.pptx VIP
- 技术服务和质保期服务计划方案.docx
- 中国现代文学史_名词解释、简答、论述题.doc
文档评论(0)