一种基于SOA的web异构数据集成方法研究.docVIP

一种基于SOA的web异构数据集成方法研究 　　摘要：随着大数据时代的到来， 数据爆炸式增长，异构的Web数据更是与日俱增；“互联网+”时代接踵而至，Web数据的访问需求也将大幅度增加，对Web异构数据进行有效集成，让用户更加方便快捷地共享数据是当前人们关心的热点。本文针对Web异构数据集成问题， 利用中间件技术和面向服务的架构（Service-Oriented Architecture，SOA）设计思想，采用XML、Web服务等技术，给出了一个基于SOA的异构数据集成框架，介绍了该架构中的SOA数据集成中间件。该方法降低了异构数据集成系统的耦合度，提高了系统的可扩展性。 中国论文网 /8/view-7241575.htm 　　关键词：SOA；Web服务；中间件；异构数据集成 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）01-0018-03 　　随着互联网技术的普及和发展，企业应用需求的不断升级，许多企业或单位都实现了信息化，但是在信息化实施的进程中，因为企业内各个部门的业务和功能的异构，造成企业系统中的信息难以交流，形成“信息孤岛”[1]。随着“互联网+”时代的到来，Web上的数据快速增长，又引文Web数据的异质性和缺乏结构性，使得要利用这些数据变得更加困难[2]。要应对这些复杂的数据，就要对异构数据集成进行研究，通过解决数据在结构和语义上的冲突，实现数据库异构数据的集成和访问，得到高质量的信息服务。本文在深入研究SOA技术及数据集成方法的基础上，给出了一个基于SOA的web异构数据集成框架，通过利用标准化接口，将数据逻辑和业务逻辑分离，把数据的访问和处理包装成服务，方便外部使用者，实现信息共享。 　　数据异构主要表现在数据结构异构、语义异构、数据库异构、存储模式异构等方面，具有已存性、分布性、自治性等特点[5]。异构数据集成就是要将这些异构数据在逻辑上或者物理上进行有效的集中，使用户可以方便、高效地访问数据[3]。为了对web异构数据源中的异构数据进行有效集成，SOA作为解决该问题的方案应运而生[4]。 　　1 异构数据集成方法概述 　　近年来，针对如上述异构数据集成的特点，国内外对异构数据集成方法进行了研究，并提出了很多不同的解决方案，但常用的异构数据集成方法有三类：联邦数据库法（Federated Database Approach）、数据仓库法（The Warehousing Approach）和虚拟法（The Virtual Approach）[6]。 　　联邦数据库法是最简单的一种异构数据集成方法[7]。通过这种方法，数据源与数据源之间可以互相访问数据，但是需要较多的交互接口，大大降低了系统的可扩展性。因此，联邦数据库法只适用于小范围内的、数据量小的数据集成，而对于网络上快速增长的、半结构化的、不断动态变化的数据源，采用联邦数据库法显然不是理想的解决方案。 　　数据仓库法是指将异构数据源中的数据预先抽取出来，形成一个全局模式，并储存在数据仓库中，实现了数据的集中式管理，数据集成质量高，查询性能快；但是，这种方法必须定期更新，而且无法实时反映各个数据源的数据变化，这就可能导致某个时间段数据仓库的数据与异构数据源的数据不一致[8]。数据仓库法适用于中小规模但要求查询效率高、数据源数据较少更新的情形，显然也不适合时常更新的web数据。 　　虚拟法也叫中间件法，其核心是提供用户一个全局模式将各数据源集中起来，数据依然存储在各个相对独立的数据源中，一般由中介器（Mediator）和多个包装器（Wrapper）组成[9]。与数据仓库法不同，该方式不必重复存储大量数据，数据及时更新，能够实时地反映异构数据源中更新的数据，适用于大数据量，数据更新频繁的情况。 　　2 基于SOA的web异构数据集成体系结构 　　2.1 SOA简介 　　SOA的概念是在1996年由Gartner公司首次提出来的。SOA是一种粗粒度、松耦合服务架构，服务与服务之间通过简单、精确定义的接口进行通讯，不涉及底层编程，无需通讯模型。服务是SOA的核心概念，Web服务是实现SOA的理想解决方案。构建Web服务的基础有简单对象访问协议（SOAP）、Web服务描述语言（WSDL）及统一描述、发现和集成协议（UDDI）[10]。如图1所示，Web服务体系结构包括服务提供者、服务注册中心、服务请求者等三个角色。服务提供者发布服务并响应服务请求；服务注册中心对服务进行集中和分类，发布新的服务或者查找已经存在的服务；服务请求者在服务注册中心查找自己需要的服务，并调用服务。 　　 　　图1 Web服务体系结构 　　2.2 基于SOA的web异构数据集成框架 　　由上述分析可知，中间件法较其他数据集成方