基于多数据库环境数据集成技术研究.docVIP

基于多数据库环境数据集成技术研究 　　摘要：为了满足面向中小型企业应用的B2B电子商务系统的平台级信息化管理的需求，该文通过对数据集成技术的应用研究，结合B2B电子商务系统的实际业务环境，研究出了平台级电子台账系统的设计方案，并对方案的实现给予部分展示。 　　关键词：多数据库；电子商务；数据集成 　　中图分类号：TP391. 41 文献标志码：A 文章编号：1009-3044（2015）36-0141-02 　　随着网络信息技术的发展，业务复杂性的提高，用户不在局限于本身存储的数据，而是需要通过网获取跨领域、跨服务器的数据，在这种背景下数据集成技术应运而生，总的来说，数据集成[2]是通过一些的技术手段，将分布式的、异构的独立数据源按照一定的规则统一起来，为用户提供统一的数据接口，用户以透明的方式访问这些数据，而不需要知道数据来自于哪个数据源。本文基于为中小企业开发的B2B电子商务系统，该系统建立于多数据库环境[1]下，为多家企业提供集中的信息智能化服务，所有注册企业共用一套应用软件，每个企业及其下属企业拥有一套独立的数据库。因此，为了综合管理各企业，及其员工、销售、仓库等信息，需要采用数据集成技术为其设计开发一套平台级电子台账系统。 　　1 数据集成技术介绍 　　传统的数据集成技术主要分为两大类，基于数据复制的数据集成技术和基于中间件的数据集成技术。 　　1.1 基于数据复制的数据集成技术 　　基于数据复制的数据集成技术需要设置一个集成数据库，将来自不同数据源的数据复制到集成数据库中，针对异构性的数据源还要经过抽取、转换、加载（Extract、Transform、Lode，ETL）[3]的过程来消除异构性，用户访问数据集成系统时直接从集成系统获得数据而不需要再访问各数据源。通常所说的数据仓库方法就是基于数据复制的数据集成方式。此方法的缺点是数据更新不够及时，时效性略差。 　　1.2 基于中间件的数据集成技术 　　此方法也叫虚拟视图法，主要包括两部分：中介器（Mediator）和包装器（Wrapper），将来自不同数据源的异构性数据进行包装，消除数据源的异构性[6]，向用户提供一个虚拟的用户视图，基于中间件的数据集成系统本身不存储任何实际的数据，用户在虚拟视图的基础上向中介器发出数据查询请求，中介器将查询请求分解为面向各数据源的子查询请求，包装器执行子查询将经过包装的数据返回给中介器。由于数据集成系统中没有存储实际的数据，用户查询的数据都是最新的，所以相对于基于数据复制的数据集成方法此方法的时效性要好。 　　2 平台级电子台账系统的设计与实现 　　2.1 系统体系结构 　　针对平台用户的需求分析，平台级电子台账系统[4]擦用基于B/S体系Spring MVC框架设计模式的解决方案，B/S体系是随着互联网技术的发展采用互联网模式构建的数据访问系统，系统设计为三层模型，如图1所示，数据层系统依托于B2B电子商务系统的基于Oracle的分布式多数据库环境，有个数据库分布在多个服务器上，存储各个企业节点的业务数据，各数据库服务器的链接采用DBLINK技术，次技术为分布式数据库应用环境的两台数据库实现跨数据库访问搭建通信桥梁，通过DBLINK本地数据库可以像访问本地数据库一样访问远程数据库。中间层为系统核心功能层应用服务层，完成主要的数据集成工作以及数据集成完整性监控工作。上层为应用显示层主要为用户提供集成数据的查询与集成结果的展示工作。 　　本系统作为一个web应用运行在一个web服务器上，用户只需通过浏览器即访问系统的应用显示层界面，当前流行的WEB开发有多种，例如C#，PHP，J2EE等，本系统采用基于JAVA的J2EE WEB开发技术，因为J2EE是面向企业级应用开发的平台[5]，通过基于组件的程序模型为分布式应用提供统一的标准，具有可伸缩性、灵活性、易维护性等优点。 　　2.2 系统集成数据模型设计 　　平台级电子台账系统需要综合反映出所有注册企业的基本信息，如企业的销售额统计、企业和仓库的正常、注销等情况，企业信息可直接取自各企业数据节点的企业信息表，而销售额统计信息则需要统计过各个企业数据节点的订单之后通过计算得到，因此台账表的数据直接或间接来源于企业数据节点的数据表，数据模型如图2所示，依据该模型，为本系统设计了三张平台级台账数据表，存储各企业数据节点集成而来的数据，分别为企业销售台账表，企业信息台账表和企业仓库信息台账表。 　　2.3 数据集成策略选择 　　B2B电子商务系统基于分布式多数据库环境下，多个企业数据节点分布在不同的数据库服务器上，因此存在两种数据集成策略，一种是平台级电子台账系统轮流调度节点拉取数据，一种是分布式企业数据节点主动向平台级电子台系统推送数据。采取第一种方式