数据集成中间件系统开发及应用.docVIP

数据集成中间件系统开发及应用目前，烟草行业的信息化主要由ERP(企业资源计划)、SCM(供应链管理)、CRM(客户关系管理)、PDM(产品数据管理)等系统构成。但由于各烟草企业在进行信息化建设时，根据自身企业发展特点，需要定制个性化产品。他们的信息化产品都是基于数据库的方式开发，并且基本都是从单项业务开始的，不同系统的开发方式以及对于开发规范的遵从程度都有所不同，这使得系统间存在很强的孤立性，再加上对企业外部的信息未予足够的重视，致使开发出的信息系统最终成为一个个“信息孤岛”。每一个系统交换信息时需对自身系统做许多接口开发，复杂度高，不易维护，给各信息系统的集成带来了困难。而现有市面上的一些EAI厂商在他们的产品中加进对新出现的标准技术的支持，包括用来交换XML数据的简单对象访问协议。用来描述Web服务以及使用WWeb服务的描述语言以及用来从不同J2EE系统存储和获取数据的JCA．而这些产品并不适用于烟草行业目前的集成方式――基于数据层的集成。因此，本文根据烟草行业信息系统的特点，实现了一种简单高效的数据集成系统中间件来解决各系统间的数据集成。 对烟草行业现有管理信息系统的改进和开发 1．需求 基于以上特点，原来的集成虽然在一个整体的平台上，但是大多不是开放的及处于标准的环境下．导致整合时间过长、成本过高，且不能适应企业变化的需求。因此在设计时将集成的方式变成建立一个由中间件组成的底层基础平台，各种“应用孤岛”、“信息孤岛”通过一个统一的数据接口连接到一个总线上，然后再通过消息总线实现各个应用系统之间的交流。这种方法的好处在于当企业增加新的应用系统后，与各子系统的数据交互不需要再重新对其他系统进行开发，而是通过集成中间件系统就可以实现。如图1所示，通过构筑一个数据集成中间件系统简化了各个系统间的交互关系。 2．总体框架设计 由于各信息系统面向的用户对象及使用环境不同，而且具有相对的独立性，为保证各信息系统的安全及相对独立的方式，故不采用直接操作对方的数据库，数据的交换通过中间件系统实现。每一个信息系统提供一个公开的信息接口表，将所有要交换的数据提供到接口表中，当各信息系统将产生的接口数据放到其相应的数据库接口表后，数据集成中间件的服务端定时启动去查找数据集成规划系统定义好的信息，在数据集成规划系统中预定义了各个系统中数据库节点、映射文档、订阅文档等。数据集成系统服务端将数据信息发布到服务端的消息总线上，并根据相关的定义，以谁需求数据谁订阅的方式提交相应的数据到相应的子系统，从而完成数据的传递，实现各信息系统数据的集成(如图2所示)。当ERP系统产生一个新的物料编码信息，为同步其他各信息系统的物料信息，首先ERP系统将物料编码的基本信息提交到ERP系统中的公共接口表，数据集成中间件的服务端将ERP系统公共接口表中的数据发布到消息总线上；然后其他各信息系统根据数据集成规划系统定义的订阅信息和文档映射关系，以谁需求数据谁订阅的方式，到消息总线上获取其所需的数据。 3．系统设计 数据集成中间件系统服务端定时去各信息系统的公共接口表中获取未处理的数据集。如果接口表中有未处理的数据，则取出相应的数据进行事务转换处理，事务转换处理流程首先构造传递数据站点的SQL检索命令，构造命令参数，执行动态SQL检索获取结果集，将数据放到消息总线中，然后接收站点根据订阅信息和文档映射关系，构造其自身站点的SQL插入命令，构造命令参数，执行动态SQL插入；如果有多个数据集，则循环插入数据。事务转换完成后，如果数据在执行期间没有出现错误，则返回到通道处理活动流程中，提交事务：否则回退所有操作，并填写错误日志。系统在执行过程中，会对每一次SQL构造及数据处理进行日志记录，以方便系统维护人员进行信息传递的跟踪。通道处理流程和转换处理流程见图3、4所示。 4．系统功能 (1)服务器系统功能 数据集成系统服务端是数据集成系统的核心，以服务的方式运行。数据集成系统根据规划系统定义的订阅信息和映射文档查找相应的对应关系，把各系统提交的接口数据，通过映射对应关系向其他数据库站点写入相应的数据信息。数据集成服务系统功能结构图见图5。 A．数据导入 根据各信息系统预定义好的标准接口表，数据集成中间件系统服务端定时到该接口表中读取需要传递的数据到消息总线。 B．数据映射 根据数据集成规划系统的数据映射规则，从消息总线中将提供系统的数据映射成为需求系统的数据。 C．数据导出 根据数据集成规划系统的订阅数据规则，将映射后产生的数据写入到订阅该数据的其他信息系统中，从而完成了各信息系统间数据的集成。 D．日志监控 记录数据集成服务端在服务执行过程中产生的一切记录。包括数据