数据仓库与ETL技术在超市中应用研究.docVIP

数据仓库与ETL技术在超市中应用研究 　　摘要：该文介绍了ETL的概念，分析了ETL在数据仓库中的应用，并介绍了一个ETL工具及其应用实例。通过利用ETL工具，可以将数据提取、清理、转换再加载到数据仓库。 　　关键词：数据仓库；ETL；决策支持；超市 　　中图分类号：TP274文献标识码：A文章编号：1009-3044(2011)18-4356-03 　　Application and Research of Data Warehouse and ETL Technology in Supermarket 　　LIU Hong-fang1, CHANG En-xiang2 　　(1.Hefei Tiesiju school, Hefei 230023, China; 2.Hefei Railway Engineering School, Hefei 230011, China) 　　Abstract: This paper introduces the conception of ETL and analyses its application in data warehouse. Then introduce a tool of ETL and the application example. By using ETL tools, it can make the data extracted, cleaned, transformed and loaded to data warehouse. 　　Key words: data warehouse; ETL; decision support; supermarket 　　数据仓库中的数据从多种数据源中提取而来的，提取来的数据需要加以清理，经转换再加载到数据仓库中。而超市决策支持系统数据仓库ETL（Extraction，Transformation，and Load）的设计就是定义这一系列的过程，包括提取、清理、转换和加载，最后生成适用于联机分析处理的数据仓库。从数据仓库的角度来看，并不是业务数据库中的所有数据都是决策支持所必需的。通常，数据仓库按照分析的主题来组织数据，我们只需提取出系统分析必需的那一部分数据。所以，超市决策支持系统确定以分析商品销售情况为主题建立数据仓库，则我们只需将同商品销售相关的数据提取出来，而有些无关数据就没有必要放进数据仓库。 　　在这个转换过程定义中，ETL设计工具的功能模块涉及到数据源的定义、数据库模式的自动获取、转换过程的定义、任务的自动生成、临时表的管理。由于业务系统可能使用不同的数据库厂商的产品，各种数据库产品提供的数据类型可能不同，因此需要将不同格式的数据转换成统一的数据格式。调度器模块主要完成对ETL任务的分配调度。从元数据文件中读取ETL系统的元数据，然后将各个ETL任务分配给连接到调度器上的执行模块。加载器在ETL工具集合中的作用是将中间层的数据分插到数据仓库中的事实表和维表中。具体实现是接收调度器发来的加载脚本，功能主要是将一个源视图中的数据按脚本的分解要求，形成由事实表和维表组成的星型数据模型的实例。中间层管理器在ETL工具集中的作用是负责操作中间数据库，对中间层数据的操作脚本从调度器处接收，解析出其中的SQL脚本，送交具体的DBMS解释执行。 　　1 ETL设计 　　数据仓库的建立，需要从各种数据源中通过数据的提取、清理、转换和加载将数据导入到数据仓库中。而ETL的设计就包括这一系列的转换过程，然后记录这些转换规则，生成转换任务，交由调度器调度，给各个模块（抽取转换器、加载器等）处理。 　　ETL的描述对应于ETL脚本，这个脚本是由ETL设计工具生成。ETL设计可以直观的设计整个ETL过程，然后保存为ETL脚本到元数据库中。调度器读取这些ETL脚本，解析这些脚本然后进行任务分配调度优化，保证执行的流程。 　　1）添加数据库 　　首先定义数据源、中间层和数据仓库。仍以销售分析主题为例，数据源名称是chaoshi，即转换为SQL Server数据格式的原始数据；中间层的名称是Mid_chaoshi；数据仓库的名称是ChaoShiCK，具体包括事实表SalesAnalyse和维表Goods、Time、Clerk、Discount。如图1所示。 　　整个ETL过程被描述成多个ETL活动的组合，数据仓库中的每一个主题数据的生成过程就是一个ETL活动。每一个ETL活动都是由一系列相关的ETL任务组成的，任务主要分成以下几个类型：抽取任务、清理转换任务、加载任务、中间表处理任务。整个活动是以一个或多个（中间表处理任务+抽取任务）为起点，一个（加载任务+中间表处理任务）为终点，中间存在着多个其他类型的任