ETL开发指南(DataStage_EE)V2.0.docVIP

DataStage Enterprise Edition 开发指南v2.0 目 录 目 录 i 1. 引言 1 1.1 编写目的 1 1.2 帮助使用 1 2. 产品概述 2 3. 常规应用 3 3.1 常用组件使用方法 3 3.1.1 Sequential file 3 3.1.2 Annotation 7 3.1.3 Change Capture Stage 8 3.1.4 Copy Stage 10 3.1.5 Filter Stage 11 3.1.6 Funnel Stage 12 3.1.7 Tansformer Stage 13 3.1.8 Sort Stage 14 3.1.9 LookUp Stage 15 3.1.10 Join Stage 15 3.1.11 LookUp Stage 和 Join Stage的区别 16 3.1.12 Merge Stage 17 3.1.13 Modify Stage 18 3.1.14 Data Set Stage 19 3.1.15 File Set Stage 21 3.1.16 Lookup File Set Stage 22 3.1.17 Oracle Enterprise Stage 25 3.1.18 Aggregator Stage 27 3.1.19 Remove Duplicates Stage 29 3.1.20 Compress Stage 30 3.1.21 Expand Stage 31 3.1.22 Difference Stage 32 3.1.23 Compare Stage 35 3.1.24 Switch Stage 36 3.1.25 Column Import Stage 38 3.1.26 Column Export Stage 40 3.1.27 Teradata Enterprise Stage 42 3.2 常用数据库的连接 44 3.2.1 Informix数据库连接 44 3.2.2 Oracle数据库连接 45 4. 高级应用 47 4.1 DataStage BASIC接口 47 4.2 自定义Stage Type 47 4.2.1 Wrapped Stage 47 4.2.2 Build Stage 47 4.2.3 Custom Stage 47 4.3 性能调优 47 4.3.1 优化策略 48 4.3.2 关键问题分析 52 4.3.3 并行度 53 4.3.4 处理建议 53 4.3.5 其它 54 4.3.6 机器的对称性 54 4.3.7 并行调度测试说明： 55 5. 开发经验技巧汇总 55 5.1.1 问题 55 引言 编写目的 IBM DataStage作ODS项目所使用的主要开发工具，在项目中得到了比较充分的应用，对IMB DataStage产品方方面面的功能，都有所涉及。作为对我们使用本产品的一个技术沉淀，我们编写了这个总结性质的手册，旨在综合描述该产品的安装、常规应用、高级开发等等项目所涉及到的各个方面。为项目组内部或其他使用该产品的项目组提供一个全面而综合的产品操作指导，帮助使用者能够在最短的时间内了解该产品，并上手使用。 帮助使用 由于DataStage产品功能强大，配置复杂，我们不可能在本手册中涉及到所有功能，也无法对每一个描述的能够都给出详尽的例子。能够为阅读者穿针引线的整理产品的开发思路，通过对常用、基本的功能的描述，让大家掌握到该产品的使用精髓，并能够举一反三的掌握其它本手册没有介绍的功能。这就是我们的目的。 我们通常使用的帮助有如下两个途径。 智能化的帮助功能；产品在几乎所有的操作窗口都有一个Help键，点击该键可以显示出当前使用的界面的功能和各项选项的具体的说明和操作方法。DataStage独有的智能化的帮助能够指引你方面的查找到你想要得到的帮助。 Online Manuals；就是产品安装后程序组中的DataStage Documents，里面更加综合、全面的对整个产品从普通到高级，从Server版到Enterprise Edition版，从For Windows到For Unix等等方面的详尽叙述。能够帮助更加系统、全面的掌握该产品。 产品概述 DataStage企业版是原Ascential Software公司所有企业整合系列产品中关键产品。企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。基于高可扩展性的软件架购，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。 DataStage企业版发布了四个核心功能来成功实施企业