ETL工具kettle.docxVIP

概览Kettle也叫PDI(全称是Pentaho Data Integeration)，是一款开源的ETL工具，项目开始于2003年，2006年加入了开源的 BI 组织 Pentaho, 正式命名为PDI。官方网站：/术语Transformation转换步骤，可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最终输出到某一个地方，文件或者数据库等。Job作业，可以调度设计好的转换，也可以执行一些文件处理（比较，删除等），还可以ftp上传，下载文件，发送邮件，执行shell命令等,Hop连接转换步骤或者连接Job（实际上就是执行顺序）的连线Transformation hop：主要表示数据的流向。从输入，过滤等转换操作，到输出。Job hop：可设置执行条件：无条件执行当上一个Job执行结果为true时执行当上一个Job执行结果为false时执行Kettle,etl设计及运行Kettle整体结构图Kettle整体结构图转换设计样例图绿色线条为hop,流水线转换设计样例运行方式使用 java web start 方式运行的配置方法命令行方式Windows下执行kitchen.bat，多个参数之间以“/”分隔，Key和value以”:”分隔例如：kitchen.bat /file:F:\samples\demo-table2table.ktr /level:Basic /log:test123.log/file：指定转换文件的路径/level：执行日志执行级别/log: 执行日志文件路径Linux下执行kitchen.sh，多个参数之间以“-”分隔，Key和value以”=”分隔kitchen.sh -file=/home/updateWarehouse.kjb -level=Minimal如果设计的转换，Job是保存在数据库中，则命令如下：Kitchen.bat /rep:资源库名称 /user:admin /pass:admin /job:job名Xml保存转换，job流程设计用户定义的作业可以保存在（xml格式）中或某一个特定的数据库中转换的设计文件以.ktr结尾（xml文格式），保存所有配置好的数据库连接，文件相对路径，字段映射关系等信息。Job的设计文件以.kjb结尾，下面是一个调用已经设计好的转换的job文件的一部分：entry namedemo test/name descriptionTransformation/description typeTRANS/typefilename${Internal.Job.Filename.Directory}#47;demo-table2table.ktr/filename transnameload customer data job/transname directory${Internal.Job.Filename.Directory}/directory arg_from_previousN/arg_from_previous exec_per_rowN/exec_per_row clear_rowsN/clear_rows clear_filesN/clear_files set_logfileN/set_logfile logfile/ logext/ ……… /entry 数据库保存转换，job流程列出几个重要的表r_job:保存job的id,name,status,执行时间，创建时间，修改时间等信息建表语句：DROP TABLE IF EXISTS `r_job`;CREATE TABLE `r_job` ( `ID_JOB` bigint(20) NOT NULL, `ID_DIRECTORY` int(11) DEFAULT NULL, `NAME` varchar(255) DEFAULT NULL, `DESCRIPTION` mediumtext, `EXTENDED_DESCRIPTION` mediumtext, `JOB_VERSION` varchar(255) DEFAULT NULL, `JOB_STATUS` int(11) DEFAULT NULL, `ID_DATABASE_LOG` int(11) DEFAULT NULL, `TABLE_NAME_LOG` varchar(255) DEFAULT NULL, `CREATED_USER` varchar(255) DEFAULT NULL, `CREATED_DATE` datetime DEFAULT NULL,