PPTSODIgCSS数据集成交流vc详解.ppt

* 可扩展的知识模块 由于 Oracle Data Integrator 在响应事件的同时从很多不同的数据库平台加载和转换数据并使用基于消息的技术（如 Web 服务），因此用于访问和加载这些不同数据源的技术需要灵活、可扩展而又高效。Oracle Data Integrator 通过知识模块解决了该问题。 知识模块是 Oracle Data Integrator 的“插件”，它浓缩了为特定数据源或特定目标加载、转换或集成数据的最佳实践。Oracle Data Integrator 有六种知识模块，如下图所示： 反向工程知识模块用于从源数据库中读取表和其他对象元数据。 日志记录知识模块记录单个表或视图或者一组一致的表或视图中的新数据和更改的数据。 加载知识模块用于从源数据库中有效地提取数据，并包括特定于数据库的适用的批量卸载工具。 检查知识模块用于检测源数据中的错误。 集成知识模块用于有效地将分段存储区中的数据转换为目标表，以便为给定数据库生成优化的本机 SQL。 服务知识模块可以将数据公布为 Web 服务。 知识模块还可以扩展，这样您可以添加 Oracle Data Integrator 当前未提供的功能。例如，采用一组现有的基于 Oracle 的知识模块并将其扩展为包括 Oracle 数据库 10g 中的 Oracle 数据泵功能将是一项相对简单的任务。 Oracle and BEA were the #1 and #2 leaders in each category for the Forrester IaaS wave, combined the solution is unbeatable. * 1、GG强项在E，ODI强项在T 2、GG实现亚秒级延迟，持续的，小量数据加载，ODI是周期性的大量数据加载 3、GG适应于远距离的数据传输，ODI通常在局域网内完成大量数据的移动 * * * * ODI的应用场景其实也比较多， 今天在这里主要是为大家介绍最常见的几种。 * * 首先，我们看看ODI在ODS中的应用。ODS作为操作性数据的预处理中心。 其实它是将数据加载到数据仓库之前或者为其它应用提供数据服务的数据准备区。 基本的数据转换、清洗等操作都可以在这里完成。作用主要在： 第一，完成从OLTP数据的快速采集，以减少数据采集对OLTP的冲击。 第二，当面对多个源系统时，完成数据的统一采集与合并，提高采集数据的可靠一致性。 第三，当数据转换出错或失败时，可在ODS中重做，不必从OLTP系统再次抽取数据，减少对OLTP负载，提高效率。 以上所有工作都需要用高效ETL工具来实现，因此，这也为ODI提供了用武之地。 * 这是典型的数据仓库系统架构，在数据仓库项目中，ETL是最重要的工作之一， 也是工作量最大内容，通常都会占到整个数据仓库设计工作量的60%-70%，甚至更多。 因此，在这样一个工作量大，重要性又高的场景中，《点击》 就需要一个操作简单，处理性能高效的ETL工具来完成，这也是ODI最擅长的地方。 * * 主数据的特点是分散性，在不同业务部门被重复使用，且对企业具有非常高业务价值。 比如客户数据、产品数据、供应链数据，企业员工信息等等都是主数据。 因此，集成性、共享性、数据集成以及数据治理就组成了主数据管理的四大要素， 而数据集成和数据治理则是MDM建设过程中最关键的技术环节。 ODI在MDM场景的优势在与，它提供了非常的数据接口，可以访问各种类型的数据库和应用系统； 其次，ODI具有数据质量检查功能，可以对不同系统来的主数据进行必要的质量控制； 第三，ODI可以非常方便的与企业服务总线集成，实现灵活的数据分发功能。 比如，现在很多银行，保险建设的ECIF系统，客户统一视图，也就是客户主数据，就存在ODI，OGG的机会。 * * * * 说到和SOA的集成，这其实是ODI一个非常典型的基于事件驱动的场景， 由于ODI本身也是纯JAVA开放的，在集成和配置上就非常容易实现。 它可以通过Web Service访问数据流程，也可以将数据清洗转化服务被应用调用，实现较大数据量的加载和转换工作。 目前，ODI已经作为服务嵌入到Oracle SOA套件，BPM中。 同样 BPEL\BAM BPEL全称为Business Process Execution Language,即业务流程执行语言 * ODI本身也是提供数据同步功能，但是针对大部分数据库都是通过trigger来实现的， 只有oracle ，db2，as400少数类型可以实现基于日志的方式，和GoldenGate比较的话，性能会差很远。 但是这是和竞争对手PK时的一个优势，也就是说，他不需要第三方工具或插