ETL基础和常用技术培训教材.pptVIP

DataStage Routines的使用 DataStage支持两种函数对象： 一是以.o为后缀的函数对象－－使用该文件类型时，每次修改了.o的文件，所有相关的DataStage作业需要重新编译； 二是以.so为后缀的共享函数对象－－使用该文件类型时，每次修改.so文件，不需要重新编译相关的DataStage 作业 编译.o的函数对象： /usr/vacpp/bin/xlC_r -O -c -qspill=32704 test.c 编译.so的共享函数对象： 注意：需要预先编译生成.o的函数对象 /usr/vacpp/bin/xlC_r -O -c -qspill=32704 test.c /usr/vacpp/bin/xlC_r -G -o libtest.so test.o 重点注意：生成.so的对象时，文件名必须以 lib为前缀！！！ 设置并行Routine属性－函数对象类型的routine 1：配置基本信息 【General】界面 内容 规范或示例 Routine Name CGTrim Type External Function Category test Object type Object (.o类型的函数对象) External subroutine Name CGTrim Library Path /crm/epm/Ascential/DataStage/DSEngine/lib/CGTrim.o Return Type Char * 此处为CGTrim.o中的函数名称 此处为函数对象文件所在路径及文件名 此处为函数返回值类型 注意：Routine Name不能重复 设置并行Routine属性－共享库类型的routine 1：配置基本信息 【General】界面 内容 规范或示例 Routine Name CRC32String Type External Function Category Examples\SDB_Routines Object type Library (.so类型的共享库) External subroutine Name crc32_str Library Path /siebel/Ascential/DataStage/DSEngine/lib/libCGCRC32.so Return Type Char * 此处为CGTrim.so中的函数名称 此处为函数对象文件所在路径及文件名 此处为函数返回值类型 注意：Routine Name不能重复 * 在Transformer中引用Parallel Routine 进入Transformer中的字段编辑器，单击右键，选择【DS Routine】 进入Routine目录，选择合适的Parallel Routine DataStage Sequence job 的使用 谢 谢！ 放映结束 感谢各位的批评指导！ 让我们共同进步 * 1.ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。 2.ETL就是一个批量数据加工的过程 * * * * * oracle基础—数据库备份导入导出 EXP: exp help=y????? 有三种主要的方式（完全、用户、表） ????? 1、完全： ????????? EXP SYSTEM/MANAGER BUFFER=64000 FILE=C:\FULL.DMP FULL=Y ????????? 如果要执行完全导出，必须具有特殊的权限 ????? 2、用户模式： ????????? EXP SONIC/SONIC??? BUFFER=64000 FILE=C:\SONIC.DMP OWNER=SONIC ????????? 这样用户SONIC的所有对象被输出到文件中。 ????? 3、表模式：????????? EXP SONIC/SONIC??? BUFFER=64000 FILE=C:\SONIC.DMP OWNER=SONIC TABLES=(SONIC) ????????? 这样用户SONIC的表SONIC就被导出 * oracle基础—数据库备份导入导出 ? ??IMP: imp help=y????? 具有三种模式（完全、用户、表） ????? 1、完全： ????????? IMP sys/sys123 as sysdba BUFFER=64000 FILE=C:\FULL.