Kettle-Spoon-研究探索.docx

客套话：Kettle是一款ETL数据整合工具，用于完成数据的抽取、清洗、转换、加载等过程。KETTLE管理平台以B/S架构部署KETTLE服务，提供转换/作业调度和监控的功能。调度可选择资源库中的转换/作业，配置一定的调度策略调度其运行；监控提供对调度运行情况的监控，并可查看调度文件运行的数据库日志以及运行中的错误信息。说明：截图不全，看不到的地方是采用默认值。spoon版本：准备：源数据库dbSrc表test，表结构create?table?TEST(??ID?????????INTEGER,??A??????????VARCHAR2(3),??B??????????VARCHAR2(3),??C??????????VARCHAR2(3),??UPDATETIME?DATE?default?sysdate)目标数据库dbDes表test，表结构create?table?TEST(??ID?????????INTEGER,??A??????????VARCHAR2(3),??B??????????VARCHAR2(3),??C??????????VARCHAR2(3),??UPDATETIME?DATE?default?sysdate)目标数据库dbDes表test_version，表结构create?table?TEST_VERSION(??ID?????????INTEGER,??UPDATETIME?DATE?default?sysdate)要求如下。当dbSrc的test数据有变化时，把变化的数据记录下来，并同步到dbDes的Test表中，同时修改TEST_version表中对应ID的日期为当前日期。步骤图如下：说明：1、表输入1SELECT??ID,?A,?B,?C,?UPDATETIMEFROM?TEST?ORDER?BY?ID与表输入2SELECT??ID,?A,?B,?C,?UPDATETIMEFROM?TESTORDER?BY?ID图：注意，一定要以ID进行排序，猜测内部机制是按行进行比较的，如果源数据库的行在目标行中没有找到，则认为是新增；如果源数据库的行在目标中对应的字段不一致，则认为是修改；如果目标数据库行在源数据库中没有找到，则认为是删除。2、合并记录3、数据同步注意此处有高级设置4、过虑记录5、执行SQL脚本26、写日志运行一把，看看效果！到此两个数据库表中数据同步已经全部完成，而且把同步记录记录到日志文件里，以备日后查阅。是不是Spoon很强大。其实自己写个Java进程也能达到此效果，但有一点不一样，spoon不用代码编译，纯配置即可实现，而Java代码必须要程序人员参与，技术门槛不一样。注意，此方法适用于字典表的同步，即适合于数据量不大（10万条以下）的情况。因为需要把两个表里所有的数据都抽取出来，并进行逐行比对。我们在下一节里将介绍，大数据量时（10万以上）如何处理。