基于影响电网设备的自然灾害及业务系统数据交换集成技术方案.docVIP

附件-投标技术方案 基于影响电网设备的自然灾害及业务系统数据交换集成技术方案 目 录 1 概述 38 1.1 项目背景 38 2 系统集成分析产品 39 2.1 建设目标 39 2.2 系统逻辑架构 40 2.3 系统整体框架 41 2.4 系统设计原则 46 2.5 交换平台技术规范与要求 46 2.6 技术特点 47 2.7 系统安全管理 47 2.8 系统核心设计 48 2.8.1 ETL 48 2.8.2 系统管理服务 49 2.8.3 系统服务监控 50 2.8.4 数据服务 50 2.9 数据发布服务 50 3 项目实施方案 50 进度控制 50 质量管理 51 机构与任务 51 质量保证方式 51 测试管理 52 风险管理 52 项目组织和人员管理 53 实施进度 55 4 售后服务和培训方案 55 4.1.1 售后服务 55 4.1.2 培训方案 56 概述 项目背景 云南电网随着电网设备的增加，以及承载负荷的不断上涨，当今数据集成仍面临若干关键问题需要解决:1)如何从异构的分布式信息系统中读取数据,并且高效地将异构数据转换为统一的数据视图2)如何进行数据清洗 完成数据在业务层上的转换3)如何拓展数据集成的驱动模式提高实时性 4)如何建立一个针对这种分布式异构数据源的集成需求,本文提出了一个基于ETL(Extract-Transform-Load)即数据抽取、转换和加载的集成过程模型。本过程模型采用数据提供者读取数据,通过元数据映射方式完成异构数据向统一数据视图的转换;针对转换之后的数据,通过简单规则引擎执行对客户系统定制 的业务规则来完成数据在业务层面上的转换。同时将传统的数据集成的驱动模式——任务调度,拓展为同时支持任务调度和按需实时性事件的双驱动模式。解决上述问题的过程中同时考虑了数据集成的性能,本过程模型通过增量式的数据集成和在数据库端运行的基于存储过程的规则引擎减少了数据传输的网络开销,提高了数据集成的性能 系统集成分析产品 建设目标 根据云南电网的需求情况，结合数据交换集成 系统建设分为五大层次： （1）数据源：对应云南电网已有的数据源，如组织结构库、标准题录库这种关系型的数据源，数据源也可能是非关系型的数据源，如文本文件、Excel数据文件等； （2）数据预处理：数据的核心处理层次，即ETL，是将数据源抽取、转换、装载到目标数据仓库主要层次，ETL是本次项目实施的重点； （3）数据仓库：项目建设主要面向明细级的数据仓库层次建设，保证明细数据能够有效地存储管理，为数据的共享、分析提供数据来源； （4）数据分析：数据分析主要包含多为分析以及更高层次的数据挖掘，这是做为系统未来的发展方向，不做为项目建设内容； （5）数据展现：提供数据的基本分析展现和数据共享功能，本期数据展现直接面对数据仓库层，通过一期数据共享平台来实现数据的共享，同时提供基本数据查询功能，实现明细级的数据查询； 系统整体框架 结合质监现状很本期建设重点，考虑到未来的发展趋势，提出质监数据集成及分析系统整体架构。 本期建设的重点为ETL部分的建设，根据数据共享需求，搭建面向明细级别数据仓库，这些数据主要为第三方提供数据共享服务，系统的所有功能都通过门户进行操作，门户提供应用的统一集成展现，为用户提供统一的登录入口；在数据处理过程中，需要对元数据进行管理； 以下对主要功能进行介绍： ETL 数据抽取 抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。 由于源数据往往存储在多个地方，有可能是一个RDMS、一个文本文件、一个Excel 文件、一个DBF 文件或其他类型文件，确定如何抽取或查询源数据是有一定难度的，连接时可以通过标准的连接工具比如ODBC 或FTP 等。从设计的角度讲最好忽视一些连接问题，把主要精力集中在源数据如何映射目标数据上。在数据抽取分析时需要对业务深刻理解，比如企业需要的一个数据，在源系统中多个表都有，而ETL只选择其中一个，在当时不会有什么问题，但随着后续工作的开展和分析就会出现意想不到的结果。所以，ETL从哪一个源表取数据不是随意的，需要对多个数据表进行业务分析，从而确定最终的选择 数据传输 数据传输是通过网络把远程的数据文件运用FTP传输到本地目录下。在实施中，它的步骤如下：a. 初始化参数表，如间隔时间、远程数据文件的存放位置、本地数据文件存放路径，并连接到远程主机上；b. 取远程数据文件列表，将其取至本地；c. 根据远程数据文件列表，生成取数据文件的脚本，运行此脚本；d. 完成取数据操作后，生成取回数据的列表，根据此列表生成删除远程数据文件的脚本，运行此脚本；e. 将取回的数据文件移到指定文件夹中；数据加载