第四章 ETL工具更新数据表过程.docVIP

打开相关的软件：运行中输入db2cc打开db2控制中心；双击Spoon.bat打开ETL工具，对于弹出的窗口选择cancel和关闭； 下面是ETL工具中的文件目录： 假如现在要更新数据表AUDIT_REGISTER_INFO，按照以下步骤进行 在D:\ETL\DATA_FILE文件夹中新建一个以AUDIT_REGISTER_INFO为名字的文件夹，同样在D:\ETL\DATA_FILE_SUCCESS文件夹中也新建一个以AUDIT_REGISTER_INFO为名字的文件夹，但是这里面需要拷贝一个successMark.txt的文件(任意，内无数据)；在D:\ETL\kitchen_file文件夹中要有三个文件，分别为：AUDIT_REGISTER_INFO_EXTRACT.ktr、AUDIT_REGISTER_INFO_JOB.kjb、AUDIT_REGISTER_INFO_LOAD.ktr然后分别打开，将名字分别更改为：nameAUDIT_REGISTER_INFO_EXTRACT/name、nameAUDIT_REGISTER_INFO_LOAD/name、nameAUDIT_REGISTER_INFO_JOB/name 在ETL工具中点击“文件”(“打开”，分别打开刚才D:\ETL\kitchen_file文件夹中的三个文件，截图如下： 对于AUDIT_REGISTER_INFO_EXTRACT.ktr文件，首先双击“从源表提取数据” 检查SQL语句是否正确： select T.UNID,T.actionFlag,T.RECORD_NO as TEMP_RECORD_NO,2 AS STATUS,r.* from PACS3I.TMP_AUDIT_REGISTER_INFO t left join PACS3I.AUDIT_REGISTER_INFO r on t.RECORD_NO=r.RECORD_NO where t.status=0 order by updatetime 检查的方法通过db2控制工具，截图如下 点击“查询”，在命令栏串口中输入刚才的SQL语句，检测能否执行通过，通过了的标志是不报错或者出来查询的数据； 双击“XML输出”截图如下： 进入“字段”，点击“获取字段”(然后“最小宽度”； 双击“更新源临时表”，截图如下： 至此，对于AUDIT_REGISTER_INFO_EXTRACT.ktr文件的设置结束了，最后点击运行按钮，正确执行。 对于AUDIT_REGISTER_INFO_LOAD.ktr文件，双击“Get data from XML”，截图如下： 将“${COMMON_DIDIRECTORY}\DATA_FILE\${TABLE_NAME}”更改为D:\ETL\DATA_FILE\AUDIT_REGISTER_INFO，然后点击“Fields”(“Get fields” 选择“是”，然后将其中的Type为num和Integer更改为String类型，并将后面对应的Trim type选择为both； ﹡但是在后面又发现，这种做法导入一条数据可以成功，但是导入成千上万条数据的时候就会出错，这时候需要将其中的Type中包含DATE的字段后面的String类型或者其他类型更改为DATE类型，它后面对应的Trim type不需要改表； 双击“注入数据到目标表”，截图如下： 这一步骤主要是要注意“Update fields”中的字段，要进行一些删除，删除之后的字段刚好要对应db2控制中心中的相应的表的字段，截图如下： 至此这一步骤的设置结束了，最后点击运行，如果通过了，最好还要将 D:\ETL\DATA_FILE\AUDIT_REGISTER_INFO更改为原来的${COMMON_DIDIRECTORY}\DATA_FILE\${TABLE_NAME}。 10. 对于AUDIT_REGISTER_INFO_JOB.ktr文件，双击“START”，设置运行的时间之后，就可以点击运行，设置的运行时间一到，该文件就会执行一次。 在更新的过程中，出现的问题总结如下： 1.更新数据表ACCOUNTS_INFO时，插入的数据在执行完ETL中的EXTRACT这一步之后，在生成的.xml文件中会出现乱码，如果将此乱码删除，那么第二步LOAD才会执行成功； 2.在执行第二步LOAD的时候，必须将FY中的表，点击鼠标右键(更改，将第一个的值改为无 3.在ZXK中的TMP_....表中插入数据，首先改变点击鼠标右键(更改，将第一个的值UNID改为无，就可以插入，然后再恢复为原来的值，但是这样尽管能够插入有效数据，但是在第二步LOAD的时候就会报错，那么同样在ZXK中的没有TMP开头的表中这样做的话，就可以