018DATASTAGE-培训-刘立波分享课件.pptxVIP

IBM DataStage使用培训2016-10-22刘立波一、DS介绍IBM WebSphere DataStage（下面简称为DataStage）为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集或数据仓库的集成工具。传统的数据整合方式需要大量的手工编码，而采用 IBM DataStage 进行数据整合可以大大的减少手工编码的数量，而且更加容易维护。数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的ETL过程一、DS介绍DataStage Client 只能安装在 Windows 平台上面。而 DataStage Server 则支持多种平台，比如 Windows、Redhat Linux、AIX、HP-UNIX一、DS介绍Etl工具Datastage图形安装，步骤较复杂并行运行，线性扩展，加工效率高源数据信息不公开没有真正的recovery机制全图形化开发，无编码只提供developer和operator角色支持几乎所有编码格式一、DS介绍Etl工具Informatica图形化安装，不需要修改内核参数并行运行session，多server并发元数据支持多cpu的系统平台出错恢复，断点续传图形化开发，无编码多范围用户角色、操作权限，可分用户和组多种编码格式主要内容一、DATASTAGE 介绍二、DATASTAGE工具的组成三、STAGE使用的介绍四、配置DATASTAGE 工程五、设计并运行DATASTAGE的JOB一、DATASTAGE 介绍什么是DataStage？IBM WebSphere DataStage（下面简称为DataStage）为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集或数据仓库的集成工具。传统的数据整合方式需要大量的手工编码，而采用 IBM DataStage 进行数据整合可以大大的减少手工编码的数量，而且更加容易维护。数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的ETL过程开发环境IBM WebSphere DataStage 的开发环境是基于 C/S 模式的，通过 DataStage Client 连接到DataStage Server 上进行开发。这里有一点需要注意，DataStage Client 只能安装在 Windows 平台上面。而 DataStage Server 则支持多种平台，比如 Windows、Redhat Linux、AIX、HP-UNIX 可操作的数据源DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：1、大型主机系统数据库：IMS,DB2,ADABAS,VSAM等2、开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft SQL Server等3、 ERP系统：SAP/R3,PeopleSoft， SAS（Statistical Analysis System ）系统等4、普通文件和复杂文件系统，FTP文件系统，XML等5、Web Services6、WebSphere MQ工程管理所有的工作都在工程中在安装过后，需要建立一个工程，这是安装必选的项目在使用它工作之前，要登录这个工程可以在工程间进行导入和导出Datastage的项目内容多个用户可以在同一时间使用同一工程，但是不能同时编辑同一个项目所有的工作都在Datastage的工程里进行。在做任何事之前，那些具有同样管理权限的人，都要先打开一个工程，即进行登录。在安装过程中，工程就要求创建，这是必须做的事情。可以在安装之后，在Administrator中的Project页框中另增加其它工程。一个工程关联着一个目录，这个工程目录用来存储jobs、 Datastage项目和元数据。在做任何操作前都要先打开这个工程，即登录这个工程。多用户可以在同一时间使用一个工程中工作，但是Datastage禁止在同一时间由多个用户访问同一个job。转换聚合加载操作型数据Data Warehouse归档数据DiskDiskDisk目标数据源并发概念传统的数据处理方法管道操作分片 转换聚合加载数据源目标DATASTAGE并发引擎工作原理: 管道+分区Pipeline管道使用管道的作业(Pipeline)优点:减少数据落地流水线运行，各种硬件同时利用Partition分区使用分区的作业(P