ODI_RFP_V3..docVIP

Oracle Data Integrator Oracle Data Integrator(以下简称ODI) 是一个完整的数据集成平台，它可以满足所有数据集成需求 — 从大量、高性能批量数据处理到事件驱动的近实时数据集成流程到支持 SOA 的数据服务。 从多种数据源到多种目标的完整设计和生成 支持多种数据源和目标 ODI支持多种数据源和目标，以下既可以作为数据源也可以作为目标： 所有主流数据库 Oracle、MS SqlServer、DB2、DB2 400、Sybase、Informix、Access、Hypersonic SQL、Ingres、Interbase、Progress、MySQL等等 文本文件 XML JMS 数据仓库 Teradata、Netazza等 多维数据库 Essbase 设计从数据源到目标数据的映射 捕获数据源的元数据并设计目标模式后，用户便可以开始创建定义数据如何从数据源移动到目标的映射。在 ODI中可以综合利用接口、过程和变量来实现数据源到目标的抽取、加载和转换以及按照主键、外键、条件约束进行的数据清洗。 在ODI中，利用数据库的函数、存储过程等来完成数据的转换和清洗。ODI中可以方便地调用用户自己编写的数据库中的存储过程、函数和包。 流程和计划 ODI为用户提供图形化界面来配置接口、过程和变量的流程控制，也就是这些对象之间的运行依赖关系，也就是流程管理，在ODI中称为包。ODI的包中还可以嵌套调用包，并且可以调用操作系统可执行脚本。整个设计过程都通过图形化界面完成，由ODI自动生成完整的执行脚本（在ODI中称作方案）。 可执行脚本（方案）的重复执行频率可以通过ODI的图形化界面“计划”来设定，如可以每5分钟、1小时、1天等等不同的时间周期来执行。 监控和调试 ODI为用户提供图形化界面来监控和调试ODI运行任务。ODI的监控界面能够显示执行日志，包括错误数、被处理的行数、执行的统计信息和被执行的实际代码等等。在设计阶段，开发人员能够使用监控界面进行调试。在生产运行阶段利用监控界面监控任务运行，如果运行失败，可以从监控界面逐层细化，直至找到问题所在，如可能是Oracle数据库的错误信息ORA-XXXX，由于错误信息是各种数据库的错误信息，而不像其他ETL工具是自己专有的错误信息，因此对于解决问题有很大的帮助，因为此时依靠的更多的是数据库的知识库是否丰富。 元数据管理 ODI的元数据都存储在资料库中，资料库可以建立在任何关系型数据库中。ODI的元数据可以通过SQL访问。 ODI本身提供一个基于浏览器的元数据查看工具。在此工具中，可以按照不同条件归类查看元数据，可以进行血缘分析，进行元数据更改影响分析，可以发起接口、过程、包和方案的执行以及监控。 增量数据捕获 ODI一个非常有特色的特性是能够实现增量数据捕获。在数据集成过程中，有两个过程： 初始数据集成 一次性将某个时间点以前的数据源的数据集成到目标中。 增量数据集成 按照一定重复周期，将重复周期中的更改数据集成到目标中。 在增量数据集成过程中，如果数据源系统没有字段标识增量数据，需要捕获增量数据，这样才能实现增量数据集成。ODI通过配置方式，就可以实现对于数据源系统（各种主流数据库）的增量数据捕获。 数据质量管理 数据质量评估 自动发现数据表结构，数据及其之间的约束、关系，数据的分布规则、统计数据等，可以从表钻取到字段直至相应的记录。 可以完成诸如以下功能： 发现产品代码的域值 产品折扣范围 发现电话号码、SSN等的组成模式 客户和订购之间的关系是1:N Customer ID 和 product ID决定最大折扣 数据校正 根据主键、外键、条件约束来校正进入目标的数据，对于不符合要求的数据自动插入到错误表中，并且可以添加自定义的错误说明。 根据代码表、规定的转换规则等将数据清洗成要求的数据。 地址验证和内容扩充：根据国家邮政标准文件验证地址，并且可以扩充内容如经度、纬度或者第三方的市场数据 匹配和去重：发现重复的数据，将重复的数据合并为“最好”的一条数据，所有重复的数据都和此数据关联。 支持SOA ODI的另外一个特性是对于SOA的支持。首先ODI支持Web Service作为数据源，其次可以将目标表包装为Web Service，还可以将接口包装为Web Service。ODI可以和Oracle的流程编排软件BPEL、服务总线工具Oracle Service Bus以及实时业务监控工具Business Activity Monitor集成。 产品模块 Oracle Data Integrator是围绕着标准化组件的资料库构建的。所有运行和设计阶段组件都是基于JAVA的，它们存储信息在元数据资料库中。这种体系结构的