一种ETL数据整合架构设计和实现.docVIP

一种ETL数据整合架构设计和实现 　　摘要： 近年来中国石油不断加大节能减排力度，节能节水管理业务系统承载的数据上报任务变得越来越繁重，然而业务管理需求复杂多变是普遍存在并始终贯穿于业务系统生命周期各阶段的问题。本文结合中国石油节能节水业务数据特点，在对经典ETL数据集成方法深入分析、继承的基础之上，给出一种基于多类型数据源ETL设计，对地域分布广、数据结构松散、逻辑关联复杂的节能节水业务数据进行有效整合，大容量样本数据测试表明，该ETL设计具有较高的数据整合性能。 　　Abstract： PetroChina continues to increase the efforts of energy conservation and emission reduction， the reporting of data in the energy management business system is becoming more and more onerous. However， the complex and changeable business management needs are common and throughout the all stages of the life cycle of the business system. In this paper， based on the characteristics of Chinas oil saving and water saving business data， and the in-depth analysis and inheritance of the classical ETL data integration method， a ETL design based on a variety of types of data sources is presented. In the area of wide distribution， loose data structure， logical connection and complex energy saving business data has been effectively integrated. Large capacity sample data test shows that the ETL design has a high performance of data integration. 　　关键词： ETL；增量与全量；OLAP；OLTP 　　Key words： ETL；increment and total quantity；OLAP；OLTP 　　中图分类号：TP3 文献标识码：A 文章编号：1006-4311（2016）31-0088-04 　　0 引言 　　中国石油是我国重要的油气生产供应商，生产经营过程中要消耗大量能源，作为油气资源产能耗能大户，一直以来高度关注自身节能节水管理整体有效把控。但管理层级深、各环节业务差异大、能耗算法纷繁复杂是大型石化企业管理中现实存在的具体情况。能源管理业务系统存在能耗数据没有有效标准、业务流程各行其道；上报地方政府、集团、国家口径不一；已建成信息系统存在缺乏数据共享集成机制、数据重复录入、人为误差偏大诸多弊端。打破信息孤岛，有效挖掘不断集聚业务数据的价值，支持企业决策是企业数据仓库系统需要解决的重要课题。为解决此问题，节能节水管理系统中数据仓库子系统组建ETL，对集聚的业务数据进行数据整合以应对大数据量条件下企业决策的需要。 　　数据仓库依赖于各个业务系统数据，把源数据从分布式环境中加载到数据仓库中，并把这些存储在异构数据库中的业务数据进行抽取转换，提取相关数据通过同步或异步方式加载到分析层作为数据源，这部分是ETL要完成工作，一般也是整个数据仓库系统设计中最为重要部分之一。 　　1 ETL总体数据架构 　　1.1 数据整合架构原理 　　操作型数据库（OLTP）基于已知任务和负载需求，为支撑业务逻辑开展而进行的部署，例如使用主码索引和散列、检索特定记录等。而数据仓库执行的OLAP查询，通常复杂且涉及大量数据汇总运算，时常需要特殊的基于多维视图的数据组织、存取方法和实现方法。因此，在OLTP数据库上执行OLAP查询会降低两种运算的性能[1]。 　　此外，操作型数据库支持多事务并发处理，需要并发控制和恢复机制（如锁机制、日志生成等），以确保数据一致性和事务鲁棒性。而OLAP查询只需对汇总和聚集数据进行只读访问。若将并发控制及恢复机制作用于OLAP操作，不仅不利于并行事务运行，还将大大降低OLTP系统吞吐量。