ETL业务开发指导文档教程.docVIP

ETL业务开发指导 PAGE  PAGE 21 OF  NUMPAGES 21 ETL业务开发指导 目 录  TOC \o 1-2 \h \z \u  HYPERLINK \l _Toc374345356 1. ETL概述  PAGEREF _Toc374345356 \h 3  HYPERLINK \l _Toc374345357 1.1 ETL是什么  PAGEREF _Toc374345357 \h 3  HYPERLINK \l _Toc374345358 1.2 适用范围  PAGEREF _Toc374345358 \h 3  HYPERLINK \l _Toc374345359 1.3 工具和配置  PAGEREF _Toc374345359 \h 3  HYPERLINK \l _Toc374345360 1.4 新建ETL用户  PAGEREF _Toc374345360 \h 4  HYPERLINK \l _Toc374345361 2. ETL开发  PAGEREF _Toc374345361 \h 5  HYPERLINK \l _Toc374345362 2.1 新建ELL  PAGEREF _Toc374345362 \h 5  HYPERLINK \l _Toc374345363 2.2控制流配置  PAGEREF _Toc374345363 \h 6  HYPERLINK \l _Toc374345364 2.3数据流配置  PAGEREF _Toc374345364 \h 14  HYPERLINK \l _Toc374345365 2.4 ETL测试  PAGEREF _Toc374345365 \h 18   ETL概述 ETL是什么 【ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 】 适用范围 【说明:将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中】 工具和配置 1.3.1 工具的下载 这边开发所使用的工具是HUAWEI_ETL_Client免安装版。 工具ftp地址: 3 public/public 工具路径:soft/HUAWEI_ETL_Client.rar 除此之外还要下载jdk1.5 1.3.2 配置 到ftp上面下载完etl开发软件解压之后，用记事本在根目录打开client.bat 其中 JAVA_HOME就是刚才你下载的jdk1.5的安装之后的目录. 运行这个工具必须断开iAccess，断开iAccess 新建ETL用户 断开iacess后，双击client.bat,使用管理员用户登录:admin/admin@123456 比如我想建立一个etl_test的用户,操作如下: 激活用户是给很久没登录的用户激活的 注意一定要指定你的用户角色为SysAdmin； 出现保存成功提示框，说明你的用户创建成功。 开发的时候使用你自己创建的用户登录开发。 ETL开发 以我20版本的REQ-2306-SMU-ETL01 ELT三种话单入库这个需求中其中一个渠道营销参数话单入库为例: SVN路径:3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/REQ-2306_软件需求分析文档_平台侧渠道智能推荐需求.docx 新建ELL 1.到ELT客户端上面，新建包:比如我新建的包是bi_test 2新建控制流etl_test 新建数据流 2.2控制流配置 1.双击刚才新建的etl_test控制流 业务的ETL简单的流程基本上我们只会用到空白，外部程序，FTP下载，转换任务,存储过程. 空白：一般是任务开始和结束的描述就像流程图六边形的开始和椭圆形结束； 外部程序：这个一般是调用Linux某个目录下的shell脚本进行某些操作; FTP下载:如名字，从某个FTP上面下载某个话单文件； 转换任务:一般将话单文件中的内容入到某个数据库与之对应的某个表（临时表）中; 存储过程：就是讲刚才转换任务某个数据库中临时表中的数据入到数据库中同义词指定的AB表中。 大致流程如下： 操作步骤: 2.2.1 外部程序配置 双击