ETL设计过程.docVIP

　本文将介绍设计和实现仓库 ETL 过程，并了解仓库的性能和安全问题。 　　简介 　　数据集成是数据仓库中的关键概念。ETL(数据的提取、转换和加载)过程的设计和实现是数据仓库解决方案中极其重要的一部分。ETL 过程用于从多个源提取业务数据，清理数据，然后集成这些数据，并将它们装入数据仓库数据库中，为数据分析做好准备。ETL 过程设计 　　尽管实际的 ETL 设计和实现在很大程度上取决于为数据仓库项目选择的 ETL 工具，但是高级的系统化 ETL 设计将有助于构建高效灵活的 ETL 过程。 　　在深入研究数据仓库 ETL 过程的设计之前，请记住 ETL 的经验法则：“ETL 过程不应修改数据，而应该优化数据。”如果您发现需要对业务数据进行修改，但不确定这些修改是否会更改数据本身的含义，那么请在开始 ETL 过程之前咨询您的客户。调制的 ETL 过程设计 　　由于其过程化特性以及进行数百或数千个操作的可能性，所以以精确方式设计 ETL 过程，从而使它们变得高效、可伸缩并且可维护就极为重要。ETL 数据转换操作大致可以分为 6 个组或模块：数据的提取、验证、清理、集成、聚集和装入。要安排好这些组，按照使这一过程获得最大简化、具有最佳性能和易于修改的逻辑次序来执行操作。下图中展示了执行的次序。图 1. ETL 数据转换过程的功能模块设计 　　 　　在项目的业务需求和数据分析阶段，我们创建了数据映射信息。有许多中记录数据映射的方式;ETL 数据映射表是指导 ETL 过程设计的最佳方式。您还可以将该表用作与业务客户就数据映射和 ETL 过程问题进行交流的方式。ETL 数据映射表有不同的级别，如实体级别和属性级别。每个级别中都具有不同级别的详细数据映射信息。下表是一个实体级别的 ETL 数据映射表的简化例子。该表中的每个“X”表示到操作细节或较低级数据映射文档的链接。表 1. ETL 实体映射表 　　源 验证 清理 转换 集成 聚集 目标 　　账户客户 X X ? X X 客户 　　信贷客户 X X X 　　借贷客户 X ? X 　　支票账户 X X ? X X 账户 　　储蓄账户 X ? X 　　信贷账户 X ? X 　　借贷账户 X X ?在 DB2 数据仓库中实现 ETL 过程 　　DB2? Universal Database? Data Warehouse Editions 为数据仓库功能提供了改进的性能和可用性。DB2 Data Warehouse Center(DWC)是一个可视化的 ETL 设计和实现工具，它是 DB2 UDB 中的组成部分。这一节将查看如何使用 DB2 UDB(Version 8.2.1)Data Warehouse Center 设计和实现仓库 ETL 过程。创建仓库控制数据库 　　仓库控制数据库包含存储数据仓库中心(Data Warehouse Center)元数据所必需的控制表。在 Data Warehouse Center 的 Version 8.2 或更新的版本中，仓库控制数据库必须是 UTF-8(Unicode Transformation Format 或 Unicode)的数据库。这一需求为 Data Warehouse Center 提供了扩展的语言支持。如果尝试使用非 Unicode 格式的数据库登录 Data Warehouse Center，那么您会收到无法登录的错误消息。您可以使用 Warehouse Control Database Management 工具，将元数据从指定的数据库迁移到新的 Unicode 数据库中。 　　下面是创建和启动新的仓库控制数据库的步骤： 　　确保启动了 DB2 仓库(Warehouse)服务器和相关的服务。在仓库控制数据库的管理窗口中，填入控制数据库名、模式名(IWH)、用户 ID 和密码，并创建该仓库控制数据库。如果在以前版本的 DB2 DWE 上已经有一个仓库，那么还可以使用此过程将仓库控制数据库迁移到当前版本中。 　　通过新创建的或迁移的控制数据库登录到 DB2 Data Warehouse Center，如 图 2所示。确保使用与步骤 1 相同的用户 ID 和密码。如果仓库控制数据库是一个远程数据库，则必须对该节点和控制数据库进行编目。图 2. 登录 DB2 DWE 仓库中心 　　 　　注意：DB2 Data Warehouse Center 的登录窗口将允许您在多个仓库控制数据库中进行切换。当有许多项目或开发人员在同一 DB2 数据仓库(Data Warehouse)服务器上工作时，此功能极其有用。定义代理站点 　　仓库代理(agent)管理数据源和目标仓库之间的数据流。仓库代理可用于 AIX?、Linux、iSeries?、z/OS?