kettle增量更新设计.docx

kettle 增量更新设计 ETL 中增量更新是一个比较依靠与工具和设计方法的过程, Kettle 中主要供应 sert/ Update 步骤, Delete 步骤和 Database Lookup 步骤来支持增量更新增量更新的设计方法也是依据应用场景来选取的,虽然本文争辩的是 Kettle 的实现方式,但或许对其他工具也有一些挂念。 1、增量分类 应用场景增量更新依据数据种类的不同或许可以分成： 1、 增加,不更新 2、 更新,不增加 3、 即增加也更新 4、 有删除,有增加,有更新 其中 1,2,3 种或许都是相同的思路,使用的步骤可能略有不同,通用的方法是在原数据库增加一个时间戳,然后在