第九章数据集成.pptVIP

* * 第九章 数据集成 Data Intergration 1. 数据集成概述 数据集成是把不同来源、格式的数据在逻辑上或物理上进行集成的过程， 从而为企业提供全面的数据共享。 联邦数据库则仅通过将用户查询翻译为数据源查询来进行逻辑上的数据集成。 数据仓库技术在物理上将分布在多个数据源的数据统一集中到一个中央数据库中。 IBM省级地税系统数据集成方案 产品数据 财务数据 客户数据 结构化数据 消息数据 非结构化 PowerCenter数据集成平台 1.1 集成异构数据库所面临的问题 1. 异构性： 系统异构：应用系统、数据库管理系统、操作系统。 模式异构：数据源在存储模式上的不同。关系模式、对象模式 对象关系模式、文档嵌套模式等。 2. 完整性 数据完整性：完整提取数据。 约束完整性：约束是指数据与数据之间的关联关系。 3. 性能 负责集成的应用必须满足轻量快速部署，系统可以快速适应数据源 改变和低投入。 4. 语义冲突 信息资源之间存在着语义上的区别。从简单的名字语义冲突到复杂 的结构语义冲突。 5. 权限瓶颈 如何在访问异构数据源数据基础上保障原有数据库的权限不被侵犯， 对原有数据源访问权限的隔离和控制。 6. 集成内容限定 如何定义要集成的范围。 2. 数据集成模型分类 1. 联邦式数据库系统 Federated Distributed Database System 联邦数据库的特点是结点自治和没有全局数据模式，每个结点所看到 的数据模式仅仅限于此结点所用到的数据。 DB2 Informix Oracle Sybase DB2 Oracle Sybase 联邦成员图 Federator Federatee 1 …… Federatee n 联邦数据库模型图 联邦者 被联邦者 例：联邦数据库使用SQL (DB2 v8.1) db2 = insert into remote_informix select a.customer, b.balance, c.limit from remote_db2 a, remote_oracle b, remote_sybase c where c.limit 10000 and a.c_key = b.c_key and a.c_key = c.c_key ; 2. 数据仓库(Data Warehouse) 数据仓库是一个面向主题的、集成的、相对稳定、反映历史变化的数据集合， 它用于支持企业或组织的决策分析处理。 数据仓库之父 Bill Inmon Building the Data Warehouse 2.1 数据仓库四个特点： a. 面向主题 操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离， 而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念， 是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个 操作型信息系统相关。 Subject Oriented b. 集成 Integrate 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过 系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据 仓库内的信息是关于整个企业的一致的全局信息。 c. 相对稳定 Non-Volatile 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询， 一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库 中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 d. 反映历史变化 Time Variant 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应 用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展 历程和未来趋势做出定量分析和预测。 客户端 合成器 抽取器 数据源1 数据源n 客户端 抽取器 异构数据源 数据仓库 数据仓库模型 什么是ETL？ 抽取(Extract): 将数据从各种原始的业务系统中读取出来。 转换(Transform): 按照预先设计好的规则将抽取的数据进行 转换、清洗，以及处理一些冗余、歧义的 数据，使本来异构的数据格式能统一起来。 装载(Loading): 将转换完的数据按计划增量或全部的 导入到数据仓库中。 ETL开源工具kettle 3. 中间件模式(基于WEB服务的数据集成) Mediated 模式 中间件模式通过统一的全局数