第一章 ETL工具kettle学习总结.pdfVIP

美河学习在线 仅学习参考 概览 Kettle 也叫PDI(全称是Pentaho Data Integeration)，是一款开源的ETL 工具，项目开始于2003 年，2006 年加入了开源的 BI 组织 Pentaho, 正式命名为 PDI 。官方网站： / 术语 1. Transformation 转换步骤，可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最终输出 到某一个地方，文件或者数据库等。 2. Job 作业，可以调度设计好的转换，也可以执行一些文件处理（比较，删除等），还可以 ftp 上 传，下载文件，发送邮件，执行shell 命令等, 3. Hop 连接转换步骤或者连接Job （实际上就是执行顺序） 的连线 Transformation hop：主要表示数据的流向。从输入，过滤等转换操作，到输出。 Job hop ：可设置执行条件： 1，无条件执行 2，当上一个Job 执行结果为true 时执行 3，当上一个Job 执行结果为false 时执行 美河学习在线 仅学习参考 Kettle,etl 设计及运行 1. Kettle 整体结构图 Kettle 整体结构图 2. 转换设计样例图 绿色线条为hop,流水线 美河学习在线 仅学习参考 转换设计样例 3. 运行方式 使用 java web start 方式运行的配置方法 命令行方式 1）Windows 下执行kitchen.bat，多个参数之间以“/ ”分隔，Key 和value 以”:”分隔 例如： kitchen.bat /file: F:\samples\demo-table2table.ktr /level:Basic /log:test123.log /file： 指定转换文件的路径 /level：执行日志执行级别 /log: 执行日志文件路径 2 ）Linux 下执行kitchen.sh，多个参数之间以“- ”分隔，Key 和value 以”=”分隔 kitchen.sh -file=/home/updateWarehouse.kjb -level=Minimal 如果设计的转换，Job 是保存在数据库中，则命令如下： Kitchen.bat /rep:资源库名称 /user :admin /pass:admin /job:job 名 4. Xml 保存转换，job 流程 设计 用户定义的作业可以保存在 （xml 格式）中或某一个特定的数据库中 转换的设计文件以.ktr 结尾 （xml 文格式），保存所有配置好的数据库连接，文件相对路径， 美河学习在线 仅学习参考 字段映射关系等信息。 Job 的设计文件以.kjb 结尾，下面是一个调用已经设计好的转换的job 文件的一部分： entry namedemo test/name descriptionTransformation/description typeTRANS/type filename${Internal.Job.Filename.Directory}#47;demo-table2table.ktr/filename transnameload customer data job/transname directory${Internal.Job.Filename.Directory}/directory arg_from_previousN/arg_from_previous exec_per_rowN/exec_per_row clear_rowsN/clear_rows clear_filesN/clear_files