异构数据集成思路总结..docxVIP

基于XML的异构数据集成方案一、设计任务设计出基于XML的异构数据集成方案，具体要求：数据源包括：结构化数据、非结构化数据和半结构化数据实现功能包括：能够用统一的方式实现查询等处理应用的技术为XML技术，实现异构数据集成二、设计应用的具体集成方法2.1异构数据集成方法简介：异构数据集成方法包括：模式集成和数据复制方法。1、模式集成方法中的数据仍保存在各数据源上，由集成系统提供一个虚拟的集成视图(即全局模式)以及全局模式查询的处理机制。用户直接在全局模式的基础上提交请求，由数据集成系统处理这些请求，转换成各个数据源在本地数据视图基础上能够执行的请求。2、数据复制方法将各个数据源的数据复制到与其相关的其它数据源上，并维护数据源整体上的数据一致性、提高信息共享利用的效率。3、模式集成包括：联邦数据库和中间件集成方法是现有的两种典型的模式集成方法。4、数据复制方法：数据仓库方法。2.2异构数据集成方案分析1.联邦数据库数据集成联邦数据库是数据库集成的最简单结构，将所有组件数据库进行一对一的连接为了实现各个数据库和其它数据库数据之间的互操作，需要解决各个数据库之间的格式冲突问题，就要为每一个数据库向其它数据库的数据类型转换提供转换规则。这就是说这样的异构数据库系统需要建立N X（N一1）/2个转换规则，或者说要编写N X (N一1)/2段代码来支持两两之间的查询访问。在联邦数据库数据集成方式中，如果要向系统中加入新的节点，就需要再建立很多转换规则，并且为系统之间只有通过编写软件来实现互相的信息正确地传递，这样做既费时又费工。如果各个子系统需要修改，那么会带来更多的问题，大大影响了系统的可扩展性、移植性和稳定性。其模型示意图如下图所示：图1 联邦数据库集成方法示意图2中间件集成方法中间件数据集成基于一个“公共数据模型”，实质上数据仍旧保存在各个参加集成的数据源中，通过各数据源的“包装器’将数据虚拟成公共数据模式，用户的查询是基于公共数据模式基础上的，即建立基于公共数据模式的虚拟数据库集成系统。中间件将用户提交的基于公共数据模型的查询分解、解析成针对一个或多个数据源的查询，然后将数据源的查询结果综合处理成公共数据模型的数据，并将结果返回给用户。这种方法中向用户屏蔽了底层数据源的差异，使得用户的查询表面上是针对单一数据源的，而实际上查询是对各个数据源的子查询的结果综合而成的，因此也叫做虚拟视图法。中间件异构数据集成模型示意下图所示：图2 中间件异构数据集成模型示图3数据仓库集成方法数据仓库数据集成方法是建立一个数据仓库，并将参加集成的各个不同的信息源的数据的副本载入到数据仓库，合成一个全局模式，用户的访问是基于数据仓库中的数据进行的查询等处理。数据仓库集成方法如下图所示：图3 数据仓库集成方法示意图4几种数据库集成的比较联邦数据库集成方法、中间件数据库方法和数据仓库集成方法，它们拥有各自己的特点，具体特点如下表所示：表1 各类异构数据集成方法比较集成方法解决的问题优点缺点模式集成联邦数据库系统数据源间异构问题支持读写访问缺乏必要的标准，只适用于数据源个数很少的数据库系统中，对非数据库系统的数据库无能为力。中间件系统屏蔽了系统的异构性，使应用软件能够在不同平台上运行利于复用管理方便易维护节约成本利于移植缺乏通用标准耦合度要求高对于穿越防火墙模式构建和异构性解决比较复杂数据复制数据仓库技术解决了数据分布性问题访问效率高网络依赖性弱实时性差开发周期长费用昂贵更新困难2.3XML技术1.XML语言XML可扩充的标记语言 (Extensible Markup Language)标准是一个基于文本的World Wide Web协会(W3C)规范的标记语言。与HTML使用标签来描述外观和数据不同，XML严格地定义可移植的结构化数据。它能作为定义数据描述语言的语言，例如标记语法或词汇、交换格式和通讯协议。XML己经成为开放环境下描述数据、描述信息的标准技术。 Web Services全部的规范、技术都是以XML为底层核心和构架基础的，对 Web Services而言，无论是SOAP、WSDL，UDDI，都是使用XML作为信息描述和交换的标准手段。2.XML的特点XML是一种元标记语言，强调以数据为核心，这两大特点在的众多技术特点中最为突出，同时也奠定了在信息管理中的优势。XML是一种元标记语言与HTML不同。XML不是一种具体的标记语言，它没有固定的标记符号，是一种元标记语言，是一种用来定义标记的标记语言，它允许用户自己定义一套适于应用的DTD或 XMLSchema。XML的核心是数据。在一个普通的文档里，往往混合有文档数据、文档结构、文档样式三个要素。而对于XML文档来说，数据是其核心。将样式与内容分离是XML的巨大优点。一方面可以使应用程序轻松的从文档中