DMETL中的增量抽取初识.pdfVIP

【干货分享】DMETL 中的增量抽取初识 DMETL 实现了增量数据的同步。在源表上进行的增删改操作，可以通过增量数 据抽取，同步到目的表中。在第一次将源表数据全量抽取到目的表中后，可以通 过重复地执行增量数据抽取，将源表上的增删改操作产生的变化数据，无遗漏地 同步到目的表中，从而实现源表和目的表的长期同步。由于丌需要每次都同步全 量数据，当全量数据巨大，而每次变化数据较少时，可以大幅提升数据同步的效 率。 DMETL 中 “增量表读取 “提供对已建立好的数据库数据源中增量表的数据读取 功能，并且可以对数据读取列、数据行、缓存以及并发等选项的设置。 DMETL 支持的增量有 ： 1) 触发器增量 ：是通过在基表上建立触发器，捕捉基表上发生的增删改操作， 从而产生增量数据。触发器方式可以捕捉到插入和修改的大对象数据。 2) 影子表增量：是在数据源中，建立一张和基表结构相同的影子表。当基表上 发生了增删改操作后，在增量数据集进行刷新操作时，通过比较基表和影子 表的数据，从而获得增量数据。 3) MD5 增量：通过将变化前后的数据进行 MD5 散列处理，然后比对 MD5 的 散列值是否相同来实现。 4) 时间戳增量：通过一条记录修改的时间戳值或生成的时时间戳值来决定是否 迁移。 5) Oracle CDC 增量方式：是“Oracle 变化数据捕捉”（Changed Data Capture ）的简称，利用了 Oracle 内建的存储函数和过程捕捉和发布变化 数据 ，本质是分析日志的方式，获得Oracle 数据库中某张表上的数据变化， 从而实现增量数据的抽取。 6) DMHS 增量：DMHS 是“DM 异构同步”的简称。DMHS 工具通过解析数 据库日志，在丌同的数据库之间实现数据同步。 各种增量方式的比较和使用建议 增量方式 效率 通用性 使用建议 触发器 高 在表上进行增量抽取 一般情况下建议使用 在表或视图上进行增 一般情况下建议使用，但比较列包含大对象 影子表 较高 量抽取 类型时，效率较低 在表或视图上进行增 MD5 低 需要在大对象类型列上进行比较时可使用 量抽取 在表或视图上进行增 需要修改时间戳列，因此需要数据库支持时 时间戳 较高 量抽取 间戳自劢更新，或手工更新时间戳列 DM 数据库中，在表 需要安装 DMHS 工具。当对性能要求较高 DMHS 高 上进行增量抽取 时建议使用 sync 方式丌支持大对象类型列的比较。当 Oracle Oracle 数据库中，在 对实时性要求较高时建议使用 sync 方式 ， 高 CDC 表上进行增量抽取 hotlog 方式可能有延时，但是对数据源的 影响较小 表格 1 使用建议： 是否要同步 源库 update 和 数据量 建议（按优先级排列） 权限 delete操作 1. 如果目的表上有主键或者唯一索引，可以使用全量抽 取，然后在表目的上使用插入更新选项。 小 2. 每次同步