ODI开发培训.ppt

ODI历史简介 ODI(Oracle Data Integrator)是Oracle在2006年10月收购Sunopsis公司后，整合Sunopsis Active Integration Platform而推出的一款数据集成工具，现在是Oracle Fusion Middleware的组件。 其他主流ETL工具 Informatica公司的Powercenter Ascential公司的Datastage NCR Teradata公司的ETL Automation ODI架构 ODI Studio Designer(设计器) Operator(操作) Topology(拓扑) Security (拓扑) 资料档案库 资料档案库分两种： 1、Master Repository 保存企业或IT资源的Topology,保存项目和数据模型的安全信息，版本信息。通常创建一个即可。Master Repository要尽可能独立存储，单独的Instance,或单独的Schema。 2、Work Repository 保存项目和数据模型，供ODI图形模块等使用，可以创建多个。一个Work Reporitory 只能连接一个Master Repository。一个Schema只能存储一个Work Repository ，不过Master Repository倒可与其安装在同一Schema。 创建主资料档案库（1） 创建主资料档案库（2） 连接到主档案资料库（1） 连接到主档案资料库（2） 导入主资料档案库 导出主资料档案库 创建工作资料库（1） 创建工作资料库（2） 连接到工作资料库 修改工作资料库密码 RCU的方式创建资料档案库（1） RCU的方式创建资料档案库（2） RCU的方式创建资料档案库（3） Topology(1) Topology（2） Topology Manager主要用来管理下面5类任务，并将信息存储在主资料库中，供所有模块共享使用。 1、物理体系结构，定义各种技术及其数据服务器、物理架构、物理代理。 2、逻辑体系结构，定义各种技术及其关联的逻辑架构、逻辑代理。 3、上下文，用来连接物理架构和逻辑架构。 4、语言，不同技术所能采用的语言特性。 5、资料库，包含主资料库及其附属的工作资料库。 Topology（3） 这里还有几个重点概念： 1、技术和数据类型：ODI将不同的数据库、文件格式、应用系统，用不同的“Technology”来表示。每种技术都有自己支持的“Data Type” 。 2、数据服务器：在ODI中，每个每个数据库服务器、每种文本文件必须先定义为“Data Server” 。 3、物理架构：在数据服务器下，每个用户、文本文件必须定义为一个“Physical Schema ” 。 4、物理代理：在物理体系结构需要定义“Physical Agent”，允许在远程机器上执行ODI任务。 5、逻辑架构、逻辑代理是物理架构、物理代理的逻辑组合，方便用户管理和使用。 创建项目 1.选择“设计器-项目”右键“新建”，输入项目名称。 2.导入知识模块。 知识模块(1) Oracle Data Integrator之所以能适应不同的、多种多样的数据源，灵活有效的完成数据抽取/载入/转换的过程，均是基于其知识模型体系。 Knowledge Modules类似于程序中的插件，Oracle Data Integrator将数据整合的任务抽象出六个组成部分： 1、反向工程RKM，Reverse-engineering knowledge modules，用于从数据源读取表及其他对象。 知识模块(2) 2、日记JKN，Journalizing knowledge modules，用于为单一或一组表/视图记录新建的和修改的数据。ODI支持部分数据源的Change Data Capture(CDC)功能，前提为ODI项目中启用该模块。 3、加载LKM，Loading knowledge modules，用于从数据源抽取数据。 4、检查CKM，Check knowledge modules，用于检测抽取出的源数据的合法性。 5、集成IKM，Integration knowledge modules，用于将Staging Area中的数据转换至目标表，基于目标数据库产生对应的转换SQL。 6、服务SKM，Service knowledge modules，提供将数据以Web Services的方式展现的功能。 ODI的设计过程 1、创建主资料库，一般一个即可 2、创建工作资料库，可以创建多个 3、创建数据服务器，每个实例或者应用创建一个，再按照用户创建不同的物理架构 4、创建逻辑架构，通常与物理架构一一对应，也可以一个逻辑架