DataStage入门培训精选.ppt

优选文档 Sequential file 优选文档 Sequential file 输入此文件字段内容 优选文档 Annotation 功能特点：一般用于注释，可利用其背景颜色在job中分颜色区别不同功能块 优选文档 Annotation 优选文档 Copy Stage 功能说明：Copy Stage可以有一个输入，多个输出。它可以在输出时改变字段的顺序，但是不能改变字段类型。 优选文档 Copy Stage 优选文档 Filter Stage 功能说明：Filter Stage只有一个输入，可以有多个输出。根据不同的筛选条件，可以将数据输出到不同的output link 优选文档 Filter Stage 优选文档 Sort Stage 功能说明：只能有一个输入及一个输出，按照指定的Key值进行排列。可以选择升序还是降序，是否去除重复的数据等等 优选文档 Sort Stage 优选文档 Sort Stage Option具体说明： Allow Duplicates： 是否去除重复数据。为False时，只选取一条数据，当Stable Sort为True时，选取第一条数据。当Sort Unility为UNIX时此选项无效。 Sort Utility： 选择排序时执行应用程序，可以选择DataStage内建的命令或者Unix的Sort命令 Output Statistics： 是否输出排序统计信息到job日志 Stable Sort： 是否对数据进行二次整理 优选文档 Sort Stage Create Cluster Key Change Column：是否为每条记录创建一个新的字段：clusterKeyChange。当Sort Key Mode为Don’t Sort(Previously Sorted) 或 Don’t Sort (Previously Grouped)时，对于第一条记录该字段被设置为1，其余的记录设置为0。 Create Key Change Column：是否为每一条记录创建一个新的字段KeyChange 优选文档 Remove Duplicates Stage 功能说明： 输入根据关键字分好类的有序数据，去除所有记录中关键字重复的记录，通常与sort stage配合使用 优选文档 Remove Duplicates Stage 优选文档 Tansformer Stage 功能说明：一个功能极为强大的Stage。有一个input link，多个output link，可以将字段进行转换，也可以通过条件来指定数据输出到那个output link。在开发过程中可以使用拖拽 优选文档 Tansformer Stage 优选文档 Tansformer Stage Constraint及Derivation的区别： Constraint通过限定条件使符合条件的数据输出到这个output link。 Derivation通过定义表达式来转换字段值。 在Constraint及Derivation中可以使用Job parameters及Stage Variables。 注意：Transformer Stage功能强大，但在运行过程中是以牺牲速度为代价的。在只有简单的变换，拷贝等操作时，最好用Modify Stage，Copy Stage，Filter Stage等来替换Transformer Stage 优选文档 LookUp Stage 功能说明：LookUp Stage把数据读入内存执行查询操作，将匹配的字段输出，或者在在符合条件的记录中修改或加入新的字段。 * * * * DataStage 入门培训 讲师：邱明伟 日期：2010-03-01 东南融通 版权所有 优选文档 Agenda DataStage介绍 DataStage开发 DataStage四个客户端的使用 DataStage常用组件使用 DataStage常用命令 练习 DataStage 介绍 优选文档 Ascential Platform 优选文档 What is DataStage? Design jobs for Extraction, Transformation, and Loading (ETL) Ideal tool for data integration projects – s