基于数据仓库的一种通用ＥＴＬ工具的设计与实现.docVIP

基于数据仓库的一种通用ＥＴＬ工具的设计与实现 　　摘要：通过对基于数据仓库的ETL过程进行的研究，提出了一种通用ETL过程的解决方案，为企业管理者的决策过程提供了有力支持，同时给出了一套完整的系统体系架构。 　　关键词：ETL；元数据；管道―过滤器；数据仓库 　　中图分类号：TP311文献标识码：A 文章编号：1009-3044(2008)26-1625-02 　　Design and Realization of Universal ETL Based on Data Warehouse 　　WANG Qiu-nan, ZHOU Lian-zhe 　　(Changchun University of Technology, Changchun 130000, China) 　　Abstract: Base on Data Warehouse this paper studies ETL, and brings forward a universal solution to the process of ETL. It provides a complete framework for enterprises. 　　Key words: ETL; metadata; pipeline; data warehouse 　　 　　1 引言 　　 　　数据仓库是近些年来在信息领域迅速发展起来的数据库新技术，主要是为企业管理者决策过程提供支持，它是基于主题的、集成的、时间相关的、非易失数据的集合[1]。数据仓库的概念很简单：使用所有现存数据，通过清洗和转换，从而提供有用的决策信息[2]。ETL是构建数据仓库的重要过程，是数据整理阶段的一个主要工具，它提供了数据仓库信息内容的前期工作。通常情况下，ETL过程要占整个数据仓库构建工作总量的60%~80%[3]，从而可以看出ETL是构建数据仓库的基础与前提。本文主要对数据仓库中ETL过程进行了研究，同时提出一种通用ETL工具的解决方案。 　　 　　2 相关理论与技术 　　 　　2.1 ETL的含义 　　ETL（Extract Transform Load，简称ETL）是将数据从源操作型系统抽取、转换并加载到数据仓库的过程。ETL过程就是数据流动的过程，从不同的数据源流向不同的目标数据库。在这个过程中，数据的抽取、清洗、转换和装载形成串行或并行的过程。 　　2.2 ETL工具的主要分类 　　ETL工具主要分为三类：数据转换引擎、通过复制捕获数据以及代码生成器。以数据转换引擎为核心的ETL工具灵活性强，提供最合适的数据转换方法来实施完全更新和增量装载，其功能涵盖了整个ETL过程；通过复制捕获数据的一类工具中大部分使用由数据库管理系统维护的交易日志，在交易日志中捕获的源系统的变化可以近乎实时地在数据转换区域被复制，等待进一步的处理；代码生成器会创建3GL/4GL的数据抽取和转换程序，这类工具直接处理数据的抽取、转换和装载。 　　2.3 元数据 　　元数据（Metadata）是关于数据的数据，是以概念、主题或集团等形式建立的信息结构，并且记录数据对象的位置。在数据仓库系统中，元数据是指关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义、目标定义，转换规则等相关的关键数据，同时元数据还包含关于数据含义的商业信息。元数据在数据仓库中处于一个非常重要的地位，是整个数据仓库运行和维护的中心，它对数据仓库的设计、开发、维护和管理，对数据的组织信息查询以及结果的理解都有重大作用[4]。 　　 　　3 通用ETL过程的研究 　　 　　3.1 ETL的需求和步骤 　　数据仓库中ETL的构建过程是最具挑战性、最耗时耗力的，其过程的主要步骤可以分成以下几个方面：首先决定数据仓库中需要的所有的目标数据，同时确定所有的数据源（包括内部和外部）；其次，准备从源到目标数据元素的数据映像关系，从而建立全面的数据抽取规则；再次，确定数据转换和清洗规则，并为聚集表制订计划，组织数据缓存区域和检测工具；然后，为所有的数据装载编写规则；最后，建立纬度表的ETL和事实表的ETL。 　　3.2 ETL过程主要技术难点和解决方案 　　ETL的整体架构如图1所示。 　　1）平台的无关性：平台无关性是评价ETL工具的一个重要指标，JAVA语言“一处编写，处处运行”的优势是解决系统平台无关性的一个较好的解决方案； 　　2）可扩展性：系统的可扩展性对于软件来说至关重要，应用面向对象的分析和设计，充分运用面向对象方法中的继承、封装和多态等特性进行系统的设计和开发； 　　3）异构数据源访问：JDBC（Java Database Connection，Java数据库连接）作为Jav