DataStage基础培训教程.ppt

? 2002 Ascential Software Corp. All rights reserved. DataStage基础培训 议程 Hello World DataStage Components Define Parameter Table Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control 演示：Hello World 议程 Hello World DataStage Components Define Parameters Tables Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control DataStage Architecture DataStage Components 议程 Hello World DataStage Components Define Parameter Table Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control 全局变量与Job变量 全局变量 -- 生命周期：整个Project -- 在Administrator中定义 Job变量 -- 生命周期：一个Job -- 在Designer、Manager中定义 演示：定义一个Job变量 Meta data definition 元数据管理的重要组成部分 在Manger或Design中定义 演示： -- import from a flat file in .txt format -- import from an DBMS table 演示Table Definition 议程 Hello World DataStage Components Define Parameter Table Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control 演示：生成事实表 Hash File 用途： -- 左连接时用作副表 -- 多次被访问的数据集 -- 存储其他临时数据 关键点： -- 必须指定key -- output的position必须与input一致 Transformer 用途： -- 提供丰富的运算符和函数 -- 数据清洗、转换 -- 关联多个数据源 关键点： -- 副表的key必须被主表的某个字段关联 -- 尽量避免两个Transformer直接相连 Aggregator 用途： -- Sum, Max, Min, Average等聚合函数 -- 一般用于生成事实表 议程 Hello World DataStage Components Define Parameter Table Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control Debug and Tuning View Status and Logs - status, log, detail等多种视图 - 配合Monitor来查错、调优 Job Status Not Compiled Compiled Reset Running Finished Finished (with warning) Abort Schedule 议程 Hello World DataStage Components Define Parameter Table Hash File、Transformer、Aggregator Director Monitor Administrator Manager Routine Control Administrator Add a new project Modify project properties - 字符集 - 日志保留天数 - hash file and write catch Define environment viable Manager Import and export projects or jobs - 两种文件格式：.dsx .xml - 整个proj