ODI怎样通过logminer技术从oracle 数据库中抽取增量数据.pdfVIP

ODI 从oracle 数据库中抽取增量数据 海量Oracle 资料下载，请收藏 http://www.D 1 / 23 Oracle Data Integrator 简介 ODI(Oracle Data Integrator)是Oracle 在2006 年10 月收购Sunopsis 公 司后，整合Sunopsis Active Integration Platform 而推出的一款数据集成工 具，现在是Oracle Fusion Middleware 的组件。和Oracle 自己的OWB(Oracle Warehouse Build)相比，ODI 支持更多的异构数据源，支持SOA，支持Jython， 和OWB 正好互补。ODI 和OWB 都是所谓的ELT 工具，和通常所见的ETL 工具不同， 它们不是采用独立的引擎而是采用RDBMS 进行数据转换。做为领先的RDBMS 供应 商，Oracle 选择ELT 而不是ETL 不是没有道理的。 ODI 的主要组件包括模块知识库，图形模块和执行引擎，都是基于java 编 写，所以运行ODI 需要有JDK 的支持。另外还有一个基于J2EE 的元数据导航器 (Metadata Navigator)。 知识库 ODI 所有模块的信息都保存在一个叫做Master Repository 的中心知识库中。 Master Repository 通过Master Repository Creation Wizard 创建，这也是安 装完ODI 后应该做的第一个任务。 2 / 23 除了Master Repository，还需要为不同的任务创建Work Repository 。Work Repository 中的信息包括模块信息，项目信息和运行期信息。 图形模块 Designer 用于定义数据转换逻辑，这是最常用的开发工具，大部分的开发任务， 包括data store 的定义，interface(数据映射关系)和package（相当于workflow） 的创建等，都是在Designer 中完成。 Operator 用于管理和监控数据转换任务的执行情况，在设计阶段，也可用于调 试(debugging) Topology Manager 用于定义物理和逻辑基础架构，如work repository 的创建 和管理等。 Security Manager 用于管理用户权限 运行期组件 Schedule Agent 计划代理，用于调度执行数据转换任务。计划代理同时也带有 一个数据转换引擎，但是ODI 采用E-LT 架构，所以基本上计划代理只是将任务 传递给目标库，其数据转换引擎很少用到。 附：安装完ODI 后默认用户名为SUPERVISOR，密码为SUNOPSIS，大小写敏感。 3 / 23 ODI 从oracle 数据库中抽取增量数据 最近做的几个项目，都碰到了ODI 从oracle9i 或者10g 数据库中抽取增量 数据的情况，那么ODI 如何从数据库中抽取增量数据呢，ODI 针对Oracle 数据 库的抽取，提供了3 类知识模块： Oracle Simple Oracle Consistent Oracle 9i/10g/11gConsistent (LOGMINER) Simple 方式一般是针对数据库中需要增量复制的表之间没有主外键约束的 情况，在这种方式下，表之间的先后复制关系没有影响。但如果表之间有主外键 对照关系，采用simple 方式就会出现问题，举个简单的例子，我们需要从源数 据库抽取两张表订单和订单明细表的增量数据，其中订单明细表的外键要参照订 单表的主键。 1. 我们将订单表中主键从11000-25000 的增量数据复制到目标端。 2. 在复制的过程中，源端订单表又插入了两条新数据，主键为25001 和 25002 。 3. 当进行订单明细表的增量数据复制时，与订单表中主键25001 和25002 对应的明细数据就会在目标端出错，因为刚才复制时，这两条数据没有复制到目 标端。 Consistent 方式就是专门来解决这个问题的，它在处理父表前首先锁