商场数据仓库ETL系统架构设计.docxVIP

商场数据仓库ETL系统架构设计 商场数据仓库ETL系统架构设计 _、ETL概述 ETL是数据抽取(Extract) 转换(Transform) ＞加载(Load)的简 写，它是指：将各种异构数据源中的数据抽取出来，并将不同数据 源的数据进行转换和整合，得出一致性的数据，然后加载到数据仓 库中。ETLT具，是数据仓库系统的重要组成部分;是影响数据仓库 系统成败的关键。 获取ETL工具有两个途径：利用现有商品化ETL工具，虽然能缩 短系统的开发周期，但存在投资成本大，软件的针对性、通用性、兼 容性差的问题。自行设计开发一个标准通用的ETL工具，提高ETL 的实用价值,降低项目实施的成本和风险，具有重要的意义。 由于数据仓库和数据源系统在数据格式、数据模型等方面存在很 大差异，客观上形成数据仓库ETL实现过程很大的难度。在ETL的 工作过程中，每步都和数据仓库元数据密切相关。 按照传统的定义，元数据(Metadata)是关于数据的数据。元数据 支撑了数据仓库开发应用的全过程，成为数据从数据源到数据仓库 的桥梁。 数据抽取阶段，没有相应的映射规则，就无法知道需要抽取什么 样的数据;在将源数据存储格式转换为目标数据存储格式时，需要知 道源存储格式和目标存储格式的信息，以及相应的存储格式之间的 转换规则;在数据加载阶段，需要知道目标数据仓库的数据结构和相 关信息。所有这些信息，都需要元数据提供