元数据驱动ETL的研究.docVIP

元数据驱动 ETL 的研究 宿 芳，寿永熙，苏依拉 SU Fang, SHOU Yongxi, SU Yila 内蒙古工业大学 信息工程学院，呼和浩特 010051 College of Information Engineering, Inner Mongolia University of Technology, Hohhot 010051, China SU Fang, SHOU Yongxi, SU Yila. Research on metadata driven ETL. Computer Engineering and Applications, 2012, 48（6）：114-118. Abstract：With the development of data warehouse, ETL（Extract, Transformation and Load）are so important steps in processing data while building a data warehouse. A stable and reliable ETL system is depended on the overall design. Base on the traditional ETL, this paper is mainly about metadata driven ETL. Using SQL engine, package engine and related algorithm to solve the problem, the aim is to improve the ETL System’s stability and reliability, and enable users to control the process by maintaining metadata. Key words：Extract, Transformation and Load（ETL）; data warehouse; metadata; SQL engine; package engine 摘 要：对原始数据的提取、转换、加载（ETL）是数据仓库开发的重要步骤。一个稳定而可靠的 ETL 系统取决于它的总体设计。 在原有 ETL 基础上，提出了元数据驱动 ETL 的思想，利用包引擎和 SQL 引擎以及相关算法，对传统 ETL 的方法进行改进，目的是 提高 ETL 系统的稳定性和可靠性，使用户通过对元数据的维护来控制 ETL 的执行过程。 关键词：抽取、转换和加载（ETL）；数据仓库；元数据；SQL 引擎；包引擎 DOI：10.3778/j.issn.1002-8331.2012.06.034 文章编号：1002-8331（2012）06-0114-05 文献标识码：A 中图分类号：TP311.13 本文件、Excel 文件、其他异构数据库系统等）中抽取出用户所 1 引言 数据仓库技术在现代商业智能（Business Intelligence）中 应用越来越广泛。数据仓库不是一个产品或软件，而是一个 用于进行分析和决策的应用环境。 数据仓库的开发离不开ETL（Extract，Transform and Load） 过程，ETL 也就是抽取、转换和加载。ETL 是指在数据仓库环 境中，从某个来源业务系统或文件中提取数据，然后对所提取 的数据进行转换、清理、消除冗余，再对数据进行进一步的整 合，最后将合格的数据加载到数据仓库或其他分析系统中的 过程。 然而，随着数据库和数据仓库技术的发展，传统的 ETL 逐 步显现出其弊端，于是就引出了一个新的概念——元数据。 元数据是描述数据的数据（data about data），可以通过元数据 对 ETL 过程进行整合。对于每一个数据的传统 ETL 过程，例 如一个 SQL Server Integration Services 包即 SSIS 包，提取出 其公共的部分（如数据库的数据库名、文件路径等信息），然后 利用元数据来描述此公共部分，而不必每次都在 SSIS 包中进 行重新定义和描述，这样就可以降低系统的规模，提高整个 ETL 系统的稳定性和可靠性。 本文就是从元数据驱动 ETL 的思想来解决 ETL 过程中存 在的不足的。 需要的原始数据，经过数据清洗，除去噪声数据、空缺数据等， 然后按照预先定义好的数据仓库模型，将高质量的数据加载 到数据仓库中去。 在不同的数据源中往往存在着噪声数据、空缺数据，同时 也存在着多个数据源中数据不一致的现象（数据格式、数据存 储类型、数据精度等），这些不一致的数据会影响用户对数据 信息的使用，为了提高数据的质量，需要 ETL