OracleDataIntegrator技术介绍.pptVIP

Oracle Data Integrator 技术介绍 议程 数据集成中的变化数据捕获(CDC) ODI 的 CDC 解决方案 CDC练习 简单 CDC 一致性 CDC Oracle Logminer CDC 双向同步 CDC 数据集成中的增量问题 对大数据量需要增量处理 如何捕获增量（CDC） 基于时间/序号字段的方法 基于日志的方法 数据同步的实时性/一致性 如何在复杂的 IT 环境之间实现同步 基于时间戳的 CDC 基于交易时间/序号 源表存在交易时间/序号 只存在数据插入 或者源表的变化受到交易时间的限制 适用于 如移动通话数据 总账数据 基于修改时间 源表存在时间戳字段 每次修改源表都会更新时间戳字段 适用于 如 ERP 的订单数据 基于时间戳 CDC 的实现 实现简单 根据时间字段过滤 根据系统日期过滤，或者每次完成抽取后记录最大的处理日期 需要重复抽取一些数据，然后 Update/Insert 到目标表 基于时间戳 CDC 的缺点 适用的情况少 只有少数情况符合第一种方法的前提 很多表没有时间戳 容易丢失数据 无法处理数据删除的情况 一些人为修改不会修改时间戳 满足不了事实同步的要求 如果时间戳上不能建索引，性能存在问题 长事务的时间戳不准确 基于日志的 CDC 将变化写到日志表 同步模式 异步模式 同步模式 一般需要创建 Trigger 对业务系统有一些影响 异步模式 一般通过 Logminner 对业务系统影响小 可以做到很小的延迟 数据集成对实时性/一致性的要求 对实时性要求越来越高 数据仓库项目对实时数据的要求 主数据管理要求实时同步 数据一致性问题 多张表可能存在主外键引用 多张表可能存在因果关系 需要保证一次性被捕获并同步的多张表的数据的一致性 复杂的 IT 环境 多个 站点/IT 系统之间的集成 双向同步 一对多/多对多 带条件的一对多 同步的时候进行复杂的转换 ODI 的 CDC 解决方案 完全可以支持基于时间的变化捕获 根据时间字段过滤 保存当前抽取状态 增量数据 Update/Insert 基于日记的 CDC 方案 简单的 CDC JKM 一致性的 CDC JKM Oracle Logminer CDC JKM 自定义/客户化 JKM ODI CDC框架 Insert Picture Here Insert Picture Here Insert Picture Here Insert Picture Here Insert Picture Here 数据源 数据目标 Insert Picture Here Insert Picture Here 日志表 LOG LOG LOG 订阅者 源表 +trigger /DBLOG +trigger / DBLOG +trigger / DBLOG Trgger 或者DBLOG Insert Picture Here 订阅者 Insert Picture Here 订阅者 省局服务器 地市A 地市B 地市C 条件 A 条件 B 条件 C Insert Picture Here Insert Picture Here Change Set 变化集 View View View 订阅者 源表 +trigger /CDC +trigger /CDC +trigger /CDC 源表上添加Trgger或者CDC Table A Trigger T$A Changed data table J$A View JV$A Logminer Target table Package 元数据资料库 SNP_CDC_SUBS SNP_CDC_SET SNP_CDC_SET_TABLE SNP_CDC_OBJECTS SNP_SUBSCRIBERS ODI CDC 框架细节 JKM ODI 变化数据捕获过程 发布和订阅的CDC框架 数据库日志 触发器 第三方解决方案 确保多表读事务的一致性 设置CDC参数 添加增量存储到CDC 添加订阅者 启动日志 CDC ODI 变化数据捕获过程 变化数据捕获练习 四个练习 简单 CDC 01_Simple CDC.doc 一致性 CDC 02_Consistent CDC.doc Oracle Logminer CDC 03_Logminer CDC.doc 客户化的双向 CDC 方案 04_Logminer BI-CDC.doc