数据集成方案.docVIP

1. 数据集成的需求 继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration 简称DI）已渐被各大企业（政府机关）纷纷触及。业务增长迫使企业必须提高其自身的 IT 能力，以满足变化的业务需求。引入一些新的应用程序以支持这种新型的需求。以新的方式对现有的信息进行处理和分析，以便更好地把握关键性的业务挑战。有些企业并购了其他的企业，进一步地加速了它们在新的领域中的增长。遗憾的是，信息/数据方面却不能始终以一种受到严格控制和有组织的方式发展，以支持这种增长。因此出现了冗余和不一致的信息孤岛。 为了能够在特定的领域中实现最高的效率，对于相同的数据，不同的应用程序以不同的方式进行表示。例如，大多数企业不会只将客户信息存储在某一个地方。如果不清楚应该从何处获取相应的信息，以及哪个系统中保存着最新的并且最精确的信息，那么这就会成为一个很大的问题。如果不清楚这些问题的答案，就不可能实现返回一致的用户相关信息的服务。我们从客户关系系统中取得的联系电话与销售系统中的不一致，而实际上呼叫中心存放的才是最新的、正确的联系电话，这是许多企业经常遇到的问题。 不同行业企业的业务需求会表现出来具有很大的差异，但是潜在的信息需求却是基本相同的—-都需要集成的、最近的、详细的数据以及进行即时的存取操作。我们企业信息化过程中，常常面临着下面的情景： 我们所在的企业并购了其它企业，那么就会产生数据合并的问题，如两个企业的HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。这就是数据合并应用问题，需要利用数据集成技术去解决。 当企业一个系统的业务活动会影响其它多个系统的进程时，数据的实时性、准确性就尤显重要。如航空公司与航空机场之间的数据同步、证券交易所与证券公司之间的股票信息同步、金融业的汇率信息同步等等。影响数据同步的实时性与可靠性的因素会有网络的连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要解决的问题。这是数据同步应用问题，也需要利用数据集成技术去解决。 一般来讲，构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供应商数据等等，要从企业多个系统中快速、可靠地建立唯一、完整的企业主数据视图。要实现企业主数据管理应用的数据集成平台，必须具备有良好的数据连通性、良好的数据质量探查与分析、良好的数据转换能力等。利用数据集成技术同样可以解决这里所讲的数据交换应用问题。 那么采取怎样的技术框架和产品去解决我们上述问题呢？这正是我们下面要重点讨论的问题。 2. 数据集成技术分类 数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、数据仓库和基于中间件模型等方法来构造数据集成的系统，这些技术在不同的着重点和应用上解决数据共享问题。 联邦数据库系统(FDBS)由半自治数据库系统构成，相互之间分享数据，联盟各数据源之间相互提供访问接口，同时联盟数据库系统可以是集中数据库系统或分布式数据库系统及其他联邦式系统。在这种模式下又分为紧耦合和松耦合两种情况，紧耦合提供统一的访问模式，一般是静态的，在增加数据源上比较困难;而松耦合则不提供统一的接口，但可以通过统一的语言访问数据源，其中核心的是必须解决所有数据源语义上的问题。 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中，数据被归类为广义的、功能上独立的、没有重叠的主题。这几种方法在一定程度上解决了应用之间的数据共享和互通的问题，但也存在以下的异同:联邦数据库系统主要面向多个数据库系统的集成，其中数据源有可能要映射到每一个数据模式，当集成的系统很大时，对实际开发将带来巨大的困难。 中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web 资源等。中间件位于异构数据源系统(数据层) 和应用程序(应用层) 之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。 3. 基于中间件模型进行数据集成 中间件模式是目前比较流行的数据集成方法，它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。 面向服务的体系结构(SOA)目前应该是一个很受欢迎的名词，中间件技术人员几乎到了言必称SOA的程度，数据集成当然也不例外。许多企业正采用面向服