数据抽取操作实例(ETL DataStage).docx

ETL操作实例1、建立项目1.1、建项目在下建立项目 “NWSJJH”,该项目用于全部的内外网的数据，（若存在则不用建立）。1.2、设置全项目参数过程为：项目属性环境用户定义，设置对应参数。将公示系统（xxgsxt）数据库作为SID参数设置步骤1：在选中项目界面点击属性步骤2：点击环境(V) 步骤3：点击用户定义步骤4：设置对应参数名称：DB_XXGSDB_NAME（参照对应命名规则）类型：选择字符串提示：公示系统SID值 ：xxgsdb（服务器配置的数据库sid名称）配置完成后点击确定保存2、设计打开输入用户名登录,打开一个空白并行job2.1、设置参数2.1.1、设置该job参数步骤1：点击工具兰上‘作业属性’，打开作业属性界面步骤2：点击作业属性界面上 ‘参数P’ 步骤3：在编辑地方配置参数，参数配置好后，点击确定保存。在开发过程中，也可以再补充加入参数设置步骤3.1：若在参数中用到全项目参数，点击作业属性上，引入全项目参数步骤3.2：选择配置好的全项目参数，单击即可加入全项目参数名以美元‘$’符号开头。步骤3.3：若参数添加或者书写错误，选择对应参数，点击右键，选择删除行，即可删除该参数备注:全项目参数在 作业属性界面 不可更改参数设置完成后，在job中就可以使用2.1.2、设置参数集 参数集设置，使作业属性界面看起来更加简洁步骤1：将要设置为参数集的SID、用户、密码选中，点击进入参数集配置界面步骤2：在参数集界面‘常规’页面上，填写‘参数集名称’、‘简短描述’，‘详细描述’，填写完成后点击，配置参数集步骤3：设置参数集中参数在步骤1中选中的三个参数显示到界面中，修改参数名称点击确定保存步骤4：选择保存参数集位置将保存位置选择为：\Table Definitions\Database\Distributed Transaction 保存即可2.1.3、添加参数集步骤1：在作业属性，参数界面点击步骤2：在弹出界面中选择要添加的参数集，点击确定在作业属性，参数界面可以看到加入的参数集2.2、设计job2.2.1、导入表定义步骤1：在项目下建文件夹取名表定义步骤2：选中表定义右键导入表定义点击启动连接导入向导步骤3：选择数据库类型，点击步骤4：选择数据库，输入用户名、密码，点击步骤5：选择数据库所在位置、名称，点击步骤6：对表、视图等进行选择，本次选择表，点击步骤7：选择要导入的表（按Shit可以多选），点击下一步步骤8：选择表，点击导入步骤9：选择表定义存放位置，点击确定完成。存放结果如下：2.2.2、设计作业步骤1：在打开的job中拖入sql server 、oracle数据源的stageSql server stage为：ODBC_Connector Oracle stage 为：Oracle_Connector 数据处理 stage：Copy 选中一个stage右键拖拉一条线到令一个stage，将导数据流向连接起来步骤2：选择sql server odbc_connector数据源stage进行配置，默认属性界面该界面配置数据库SID、用户名、密码以及表或者sql语句提示为必填项，填写方式有三种步骤3：配置SID、用户、密码（3种方式）方式1：点击选择数据库，点击确定在Username、Password项手动输入用户名密码方式2：点击来选择配置好的参数（可以选择定义好的参数集）方式3：点击 “装入”，直接导入保存好的数据连接配置好后点击测试，可查看是否连接成功。步骤4:配置表或者sqlGenerate SQL 选择“是”时，Table name* 位置写入表明。Generate SQL 选择“否”时，Select statement *位置写入sql语句。步骤5：点击“列(C)”装入列字段点击装入， 在弹出页面中选择对应表，点击确定选择对应的列，点击确定列装入后，点击确定。Odbc_connector配置完成重复步骤2到步骤5完成 oracle_connector配置步骤6：点击copy stage可以查看输入输出列步骤7：点击“输出”—“映射”可以手动拖动、左边列内容放入右边进行映射也可以点击“自动匹配”进行映射根据需要选择对应的匹配方法，选择好后点击确定，完成点击确定，完成整个job的设计2.2.3、作业编译及运行设计完成一个job保存后，点击页面上编辑按钮，完成作业编辑编辑无误后，点击运行2.2.4、查看作业运行日志点击“工具”-“运行向导器”在向导器重选择作业，点击 右键查看日志，可以看到作业运行日志