Datastage初级培训课件.ppt

IBM WebSphere DataStageAdvanced Enterprise Edition 2008年07月 ETL概述 ETL：将数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程 ETL工具：Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation ETL工具优点：高效率，简洁，可维护性高 Datastage安装 Datastage安装 Datastage安装 Datastage安装 Datastage安装 Datastage安装 Datastage安装 DataStage概述 IBM WebSphere DataStage 的开发环境是基于 C/S 模式的，通过 DataStage Client 连接到DataStage Server 上进行开发。这里有一点需要注意，DataStage Client 只能安装在 Windows 平台上面。而 DataStage Server 则支持多种平台，比如 AIX、HP-UNIX 、Windows、Redhat Linux。 DataStage Client 有四种客户端工具。分别是 DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。 DataStage概述 DataStage架构图 Datastage概述 1． 用 DataStage Administrator 服务器资源管理； 2． 用 DataStage Designer 进行Job的设计； 3． 用 DataStage Director 对Job运行监控和设置，比如多长时间运行一次ETL Job、查看日志； 4．用 DataStage Manager工程资源管理。 Datastage概述 DataStage Administrator 的主要功能 设置客户端和服务器连接的最大时间 资源管理 License的管理 DataStage Designer是ETL Job开发的核心环境 ETL Job的开发 ETL Job的编译 ETL Job的执行 Datastage概述 DataStage Manager DataStage Manager主要用来管理工程资源。一个工程可能包含多个ETL Job，可以用DataStage Manager把一个工程里面的ETL Job导出来。然后再用DataStage Manager导入到另外一个工程中去，利用这个功能一方面可以实现ETL Job的备份，另一方面就是可以在多个工程之间来重复使用开发好的ETL Job。在DataStage Manager里面可以把数据库中的表结构直接导入到项目中来，供这个项目中的所有ETL Job使用。DataStage Designer也提供了从数据库中直接导入表结构的功能。 Datastage概述 DataStage Director 监测Job的运行状态 ETL Job在DataStage Designer中编译好后，可以通过DataStage Director来运行它。前面在介绍DataStage Designer的时候提到在DataStage Designer中也可以运行ETL Job，但是如果要监测ETL Job的运行情况还是要登陆到DataStage Director中。在这里，你可以看到ETL Job运行的详细的日志文件，还可以查看一些统计数据，比如ETL Job每秒所处理的数据量。 设置何时运行Job ETL Job开发完成后，我们可能希望ETL Job在每天的某个时间都运行一次。DataStage Director为这种需求提供了解决方案。在DataStage Director中可以设置在每天、每周或者每月的某个时间运行ETL Job。 Datastage开发流程 JOB开发 1.新建项目 用DataStage Administrator登录到DataStage Server。Host system是安装DataStage Server的主机，输入它的IP地址或者主机名。另外再输入用户名和密码后,单击按钮OK； JOB开发 2.登录后，在标签Projects中可以看到目前这个DataStage Server上面所有的项目。单击按钮Add新建一个项目 JOB开发 3.在弹出的对话框中输入项目名SampleProject，项目存储的默认路径是DataStage安装路径的Projects目录下面，你可以通过单击按钮Browse来改变默认路径。注