kettle实践经验总结.docxVIP

数据抽取工具Kettle实践经验小结 杭州州力数据-陈力同步数据常见的应用场景包括以下4个种类型：1.只增加、无更新、无删除12.只更新、无增加、无删除33.增加+更新、无删除44.增加+更新+删除55.调用存储过程71无参数输入：72、有参数输入81.只增加、无更新、无删除对于这种只增加数据的情况，可细分为以下2种类型：1)基表存在更新字段。通过获取目标表上最大的更新时间或最大ID，在“表输入”步骤中加入条件限制只读取新增的数据。这里要注意的是，获取最大更新时间或最大ID时，如果目标表还没有数据，最大值会获取不了。其中的一个解决方法是在“获取最大ID”步骤的SQL中，加入最小日期或ID的联合查询即可，如：SELECT MAX(ID) FROM(SELECT MAX(ID) AS ID FROM T1 UNION ALL SELECT 0 AS ID FROM DUAL)2)基表不存在更新字段。通过“插入/更新”步骤进行插入。插入/更新步骤选项：2.只更新、无增加、无删除通过“更新”步骤进行更新。更新选项：3.增加+更新、无删除通过“插入/更新”步骤进行插入。区别是“插入/更新步骤”中的选项，去掉“不执行任何更新”的勾选：4.增加+更新+删除这种数据同步情况，可细分为以下2种情况：1)?源库有表保存删除、更新和新增的信息。通过条件判断，分别进行“插入/更新”和“删除”即可，如下图所