ETL及其在数据仓库创建中的重要作用.pdfVIP

_______________________________________________________________________________ ETL 及其在数据仓库创建中的重要作用 咏梅 （上海理工大学计算机工程学院，上海 200093） 摘要：介绍了数据仓库、ETL （Extract-Transform-Load 的缩写，数据抽取（Extract）、 转换（Transform）、装载（Load）的过程）以及ETL 工具的选择。 关键词：数据仓库, ETL THE IMPORTANT FUNCTION OF ETL IN CREATING DATA WAREHOUSES WANG YONG MEI (UNIVERSITY OF SHANGHAI FOR SCIENCE AND TECHNOLOGY,SHANGHAI,20093,CHINA) Abstract: introduce data warehouse、ETL (abbreviation of Extract-Transform-Load, means data extract, data transform and data load) and selection of ETL tools. Keyword : data warehouse, ETL 引言：数据仓库就好似：“一个食品仓库，存储大量的食物，然后分配给相应不同种类 的食品库中（数据集市），用于存取或者购买。其广范的应用于大中型企业的数据管理中。” ETL：Extract-Transform-Load 的缩写，数据抽取（Extract）、转换（Transform）、装载 （Load）的过程。数据仓库的ETL 系统是数据仓库中数据整理阶段的一个主要工具，它与 元数据管理相结 ，提供对不同数据源的数据进行抽取，转换，清洗，加载的功能。 1．数据仓库的基本概念 数据仓库,是指面向主题的，一致的，不同时间的，稳定的数据集 ，用于支持经营管 理中的决策支持过程。从广义上讲数据仓库是指存储大量历史数据的数据库。每一个记录代 表特殊时间点上的一个数据。数据仓库就好似：“一个真正的食品仓库，存储大量的食物， 然后分配给相应不同种类的食品库中 （数据集市），用于存取或者购买”。如图1所示，其 广范的应用于大中型企业的数据管理中。 2. ETL 的产生与基本概念 随着数据集市和数据仓库应用在企业中的普及，人们发现在构建数据仓库的过程中，数 据抽取、转换和加载过程(ETL)是最花费时间、人力的，往往占整个项目工作量的60%-70% 左右。 信息作为现代企业的宝贵资源，占据着越来越重要的地位，已经成为现代企业科学管理 的基础，正确决策的前提，有效调控的 段。能否拥有及时、准确、全面的信息已经成为衡 _______________________________________________________________________________中国科技论文在线 量一个企业是否具有发展潜力的一个重要指标。将原有业务系统和外部的数据按照数据仓库 图1.企业数据仓库系统 模型整 到数据仓库系统中去，在这个过程中需要完成数据的抽取、清洗、转换、整 、传 输、加载等操作，是数据仓库构建过程中最为复杂的一个环节。 通常，企业的数据源分布在各个子系统和节点中，利用ETL 将各地方业务系统上的数据， 通过自动化FTP 或手动控制传到UNIX 或NT 服务器上，进行抽取、清洗和转化处理，然后加 载到数据仓库。因为现有业务数据源多，保证数据的一致性，真正理解