DataStage进行数据整合第2部分.docVIP

在本文中，您将看到一个同时处理多个数据源和目标的 ETL Job 的开发过程，并了解 DataStage 中 Container 和 Job Sequence 的用法。 引言 系列的第一部分介绍了 DataStage 的基本功能。本文将从以下几个方面深入介绍 IBM WebSphere DataStage 在数据整合方面的强大功能。 1． Job Sequence 的用法 2． DataStage Container 的用法 3． 开发一个同时处理多个数据源和目标的 ETL Job Job Sequence 的用法 在用 IBM WebSphere DataStage 进行数据整合的过程中，我们一般会开发很多个单独的 ETL Job 去完成特定的逻辑功能，这些 ETL Job 之间的运行顺序往往是有限制的，那么我们如何处理 ETL Job 之间的这种依赖关系呢？IBM WebSphere DataStage 提供了处理这种问题的方法，那就是使用 Job Sequence。使用 Job Sequence 可以方便的处理 ETL Job 之间的依赖以及运行顺序问题。下面我们通过开发一个简单的 Job Sequence 来演示 Job Sequence 的用法。 开发一个 Job Sequence 和开发一个 ETL Job 的方法是类似的，都是用 DataStage Designer 来开发。我们将要开发的这个 Job Sequence 的功能是实现两个 ETL Job 的顺序执行，并且在第一个 ETL Job 运行成功的情况下第二个 ETL Job 才开始执行。因此我们必须先准备两个 ETL Job，这两个 ETL Job 的名字分别为 Job1 和 Job2。 开发步骤 1． 打开 DataStage Designer。如下图所示，从下拉列表中选择 Job Sequence。这样就会新建一个 Job Sequence； 图 1：新建 Job Sequence 2. 新建的 Job Sequence 如下图所示。这时候这个 Job Sequence 还没有被保存。单击 DataStage Designer 的保存按钮来保存 Job Sequence； 图 2：新建的 Job Sequence 3. 弹出的保存对话框如下图所示，在 Job name 一栏中填入 SampleJobSequence。在 Category 一栏中填入 sequence，单击 OK 按钮保存 Job Sequence； 图 3：保存 Job Sequence 4. 保存好 Job Sequence 后，从左侧面板 Sequence 一栏中的下拉列表中添加两个 Job Activity 到右侧的面板中，并把这两个 Job Activity 连接起来； 图 4：添加 Job Activity 5. 双击左边的 Job Activity Stage，会弹出如下图所示的属性框。在 General 标签中，Name 一栏输入 Job1，这是这个 Job Activity Stage 的名字。然后单击标签 Job； 图 5：输入 Job Activity 的名称 6. 在标签 Job 中单击右侧的按钮来选择这个 Job Activity 连接到哪个 ETL Job 上面； 图 6：选择 ETL Job 7. 在弹出的选择 ETL Job 的对话框中选择 Job1 并单击按钮 OK； 图 7：选择 Job1 8. 在标签 Trigger 中，在 Expression Type 下拉列表中选择 OK-(Conditional)。这个选项的意思是只有在这个 Job Activity Stage 连接的 ETL Job 成功执行后，才能执行后面的 ETL Job。单击按钮 OK 完成对 Job Activity Stage Job1 的配置； 图 8：完成 Job1 的配置 9. 双击右边的 Job Activity Stage，会弹出如下图所示的属性框。在 General 标签中，Name 一栏输入 Job2，这是这个 Job Activity Stage 的名字。然后单击标签 Job； 图 9：建立 Job2 10. 在标签 Job 中，单击右侧按钮，会弹出一个选择 ETL Job 的对话框，在这个对话框中选择 ETL Job Job2。然后单击 OK 按钮； 图 10：选择 Job2 11. 这时你会注意到 ETL Job Job2 已经被添加进来。单击按钮 OK 完成对这个 Job Activity Stage 的配置； 图 11：完成 Job2 的配置 12. 配置完成后，单击图标编译来编译该 Job Sequence