电力行业分布式ETL数据集成系统研究与实现-软件工程专业论文.docx

万方数据 万方数据 Research And Implementation Of Distributed Etl Data Integration System In Electric Power Industry A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: Lin Jianchang Supervisor: Zhang Ning School: School of Information and Software Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘要 摘要 电力行业的信息化建设经过多年的发展，已取得了显著的成效。如：调度 SCADA 系统、营销 SG186 系统、用电信息采集系统、ERP 系统、GIS 地理信息系统等应用 系统已在各电力企业稳定运行，积累了大量的有用数据。然而，由于各个系统自 成体系，成为了一个个独立的“信息孤岛”，以至于无法实现各系统间数据共享， 同时分散的数据严重制约了企业的统一决策。 针对这些分布的异构的数据源，企业拟建立这样一个电网生产管理信息平台 （GPMS）：这个平台能集成这些异构的数据源，并将这些有用数据源用于企业共享 和决策分析。这个平台最关键的就是要解决数据集成问题，而数据仓库的提出为 企业有效集成已有的数据资源提供了解决方案 。 数据仓库对决策的支持依赖于高质量的数据，而 ETL(Extraction－数据抽 取、Transformation－数据转换、Loading－数据加载)是数据仓库获得高质量数 据的重要环节，它屏蔽了复杂的业务逻辑，为基于数据仓库的各种分析和应用提 供了统一的数据接口。 市场上的 ETL 产品普遍存在费用昂贵、操作复杂、功能繁杂但使用率低等缺 陷，而且大多采用集中式架构，将 ETL 的设计、运行、管理都集中在一点上，加 重了服务器的负担，对服务器的性能提出了较高的要求。 本文通过采用分布式架构，将 ETL 的设计、管理和运行分布到网络上不同的 节点，支持多台机器协同并行设计与运行 ETL 作业，以此克服传统 ETL 工具对 ETL 服务器的高度依赖性，降低了 ETL 系统的硬件成本，加快了数据处理速度。 本文核心的部分是分布式 ETL 模型，模型中规定了 ETL 所有组件的边界、每 个组件承担的任务和组件间的协作关系。模型中主要的组件有基于 C/S 模式的作 业设计器、ETL 作业调度模块、分布式计算管理、ETL 作业执行引擎等。本研究在 遵循分布式 ETL 模型的基础上实现了一个分布式 ETL 工具并就系统的性能进行了 测试。并将该方法成功应用到 GPMS 平台的数据集成系统的建设中。 论文最后对本次研究的所有工作做一个总结，并阐述未来进一步可以完善的 方面。 关键词：ETL，分布式系统，负载平衡，容错恢复，GPMS I AB ABSTRACT ABSTRACT Through several years of development, the power industry has made achievements in the construction of information. Some different systems have been operated stably, Such as the electrical power dispatching SCADA system, power marketing SG186 system, electric energy data acquire system, ERP system and Geographic information system