ETL手册_0107.docVIP

金蝶ETL手册 日期 版本 说明 作者 2010-1-8 闫燕 目 录 金蝶ETL手册 1 目 录 2 1. kettle原理结构图 3 2. kettle的物理环境 3 2.1. kettle 的安装和部署 3 2.2. kettle的运行 3 3. kettle基本使用样例 5 3.1. kettle创建转换或作业 5 3.2. kettle转换或作业的导入(没有资源库) 6 3.3. kettle转换的菜单介绍 6 3.4. kettle作业的菜单介绍 8 3.5. kettle 创建数据库连接 9 3.6. 转换（Transformation）简单示例 11 3.7. 作业（JOB）简单示例 16 3.8. kettle 资源库的创建 20 3.9. kettle 资源库登录 23 3.10. kettle 资源库目录创建及使用 24 3.11. kettle转换或作业的导入（登录资源库后） 27 3.12. kettle 资源库中作业调用转换或作业 27 3.13. 转换（Transformation）增量设计 33 3.13.1. 增量抽取（时间戳）方案设计 33 3.13.2. 增量抽取（时间戳）实现方法及业务场景 33 4. kettle调试和测试 37 5. kettle定时功能及日志 37 6. kettle性能及效率提升 39 7. kettle项目总结经验 40 kettle原理结构图 kettle的物理环境 kettle 的安装和部署 要运行此工具，必须按照Sun公司的JAVA运行环境1.4或者更高版本，Kettle的下载可以在 /网站下载。 因Kettle是绿色软件，只需把Kettle文件夹拷贝到本地路径，例如 D 盘根目录。 设置JAVA_HOME 环境变量，右键点击 “我的电脑 --- 属性”，选择 “高级”选项卡，点击“环境变量”，在系统变量中，点击“新建”，输入： 变量名：JAVA_HOME 变量值：JDK更目录的路径 kettle的运行 下面是在不同平台上运行 spoon所支持的脚本： Spoon.bat 是在windows 平台运行； Spoon.sh 是在Linux、Apple OSX、Solaris 平台运行。 进入到Kettle目录，双击运行spoon.bat 文件，出现【图-01】 【图-01】 稍等几秒后，出现【图-02】 【图-02】 选择【没有资源库】，打开 Kettle 主界面 。虽然 Kettle提供了资源库的方式来整合所有工作，但是因为资源库移植不方便，所以选择【没有资源库】。 kettle基本使用样例 kettle创建转换或作业 点击页面左上角的【文件】 -- 【新建】 -- 【转换】，创建一个新的转换，点击【保存】到本地路径，例如保存到D:/ETLTEST目录下，保存文件为 TestTrans，Kettle默认转换文件保存后后缀名为ktr，参考【图-03】。 【图-03】 点击页面左上角的【文件】 -- 【新建】 -- 【作业】，创建一个新的作业，点击【保存】到本地路径，例如保存到D:/ETLTEST目录下，保存文件为 TestJob，Kettle默认作业文件保存后后缀名为kjb，参考【图-04】。 【图-04】 kettle转换或作业的导入(没有资源库) 找到【文件】菜单，选择【从XML文件导入】，找到转换或作业存放的路径，选择需要导入的文件。 kettle转换的菜单介绍 转换的菜单分为：【主对象树】和【核心对象树】。 【主对象树】列出的是转换的基本属性，可以通过各个节点来查看，参考【图-05】。 【图-05】 DB连接：显示当前转换中的数据库连接，每一个转换的数据库连接都需要单独配置。 DB连接有以下选项： Connection name：定义转换或者任务访问的连接的唯一名称，可以自行设置； Connection type：连接的数据类型； Access：可以是Native(JDBC)，ODBC，JNDI，一般选择JDBC； host name：指定数据库部署的主机或者服务器的名称，也可以指定IP地址 database name：指定连接的数据库的名称； port number：设定数据库监听的TCP/IP端口号； user name：指定连接数据库的用户名； passord：指定连接数据库的密码； Steps（步骤）：一个转换中应用到的环节列表。 Hops（节点连接）：一个转换中应用到的节点连接列表。 【核心对象树】列出的是转换中可以调用的环节列表。每个环节可以通过鼠标拖动来将环节添加到主窗口中；并可以通过“shift+鼠标拖动”，实现环节之间的连接，参考【图-06】 【图-