Kettle使用手册及测试案例.docxVIP

一、【kettle】window?安装与配置 1、下载?kettle?包，并解压 /projects/data-integration/ 2、安装?jdk，并配置?java?环境 a).打开我的电脑--属性--高级--环境变量 b).新建系统变量?JAVA_HOME?和?CLASSPATH 变量名：JAVA_HOME 变量值：C:\Program?Files\Java\jdk1.7.0[具体路径以自己本机安装目录为准] 变量名：CLASSPATH 变量值：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; c).?选择“系统变量”中变量名为“Path”的环境变量，双击该变量，把?JDK?安 装路径中?bin?目录的绝对路径，添加到?Path?变量的值中，并使用半角的分号和 已有的路径进行分隔。 变量名：Path 变量值：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 3、配置?kettle?环境 在系统的环境变量中添加?KETTLE_HOME?变量，目录指向?kettle?的安装目录： D:\kettle\data-integration 4、启动?spoon Windows?直接双击批处理文件?Spoon.bat?具体路径为： kettle\data-integration\Spoon.bat Linux?则是执行?spoon.sh,具体路径为： ~/kettle/data-integration/spoon.sh 二、?使用?Kettle?同步数据 同步数据常见的应用场景包括以下?4?个种类型： ??只增加、无更新、无删除 ??只更新、无增加、无删除 ??增加+更新、无删除 ??增加+更新+删除 只增加、无更新、无删除 对于这种只增加数据的情况，可细分为以下?2?种类型： 1)?基表存在更新字段。 通过获取目标表上最大的更新时间或最大?ID，在“表输入”步骤中加入条件 限制只读取新增的数据。 2)?基表不存在更新字段。 通过“插入/更新”步骤进行插入。 插入/更新步骤选项： 只更新、无增加、无删除 通过“更新”步骤进行更新。 更新选项： 增加+更新、无删除 通过“插入/更新”步骤进行插入。 区别是“插入/更新步骤”中的选项，去掉“不执行任何更新”的勾选： 增加+更新+删除 这种数据同步情况，可细分为以下?2?种情况： 1)?源库有表保存删除、更新和新增的信息。 通过条件判断，分别进行“插入/更新”和“删除”即可，如下图所示。 2)?源库没有保存增删改信息 Kettle?提供了一种对比增量更新的机制处理这种情况，可通过“合并记录”步 骤实现，该步骤的输入是新旧两个数据源，通过关键字进行数据值比对，对比 结果分为以下?4?种类型： “Identical”:?关键字在新旧数据源中都存在，域值相同 “changed”:?关键字在新旧数据源中都存在，但域值不同 “new”: 旧数据源中没有找到关键字 “deleted”: 新数据源中没有找到关键字 两个数据源的数据都进入下一步骤，上述?4?种结果类型作为输出表的标志 字段进行保存。 以下为示例： ??源数据库测试脚本 create?table?k1?(f1?varchar2(200),f2?varchar2(200)) truncate?table?k1; insertinto?k1(f1,f2)?values(1,11); insert?into?k1(f1,f2)?values(2,22); insert?into?k1(f1,f2)?values(5,5); commit; ??目标数据库测试脚本 create?table?k1?(f1?varchar2(200),f2?varchar2(200)) truncate?table?k1; insert?into?k1(f1,f2)?values(1,1); insert?into?k1(f1,f2)?values(2,2); insert?into?k1(f1,f2)?values(3,3); insert?into?k1(f1,f2)?values(4,4); commit; 合并过程如下： 其中“合并记录”步骤的选项： 执行后，查询?K1_TEST?结果如下： 可以看到，该结果表的?BZ?字段保存了更新、删除、新增的记录信息，通 过条件分支即可分别对这些记录进行相应的处理。 “条件”选项： 小结 Kettle?提供了可视化的设计工具，基本上可通过拖拉配置的方式实现以上 4?种类型的数据同步，操作上相对较为简单。 数据同步的性能与源数据库、目标数据库以及执行?Kettle?转换操作的主机 相关，在笔者的测试环境上（源数据库和目标数据库部署在双核?