市政基础设施数据同步模型探究.docVIP

市政基础设施数据同步模型探究摘要：在分析市政基础设施数据的特点和数据同步技术的基础上，提出了一种基于工作库和中间件的数据同步模型，在设计该同步模型时，考虑数据同步中安全、效率、通用、灵活等多方面因素，以解决市政行业级与市政级数据同步更新问题。 关键词：数据同步；中间件；工作库；XML 中图分类号：F294 文献标识码：A 文章编号：1672-3198(2009)09-0249-02 1　市政管理信息集成系统同步相关业务分析 政府综合管理部门没有能力对各类数据实施动态更新，更新只能由权属单位来做，而各权属单位在地域上一般是分散的，所以需要采用分布式数据库技术，将各个市政行业数据库的变化动态反映到集成的综合数据库服务器之中。市政信息分布式一体化动态管理概念模型。如图1所示： 对市政同步相关业务分析主要集中在数据的类别、流动方向、数据量和流动特点等几个方面。市政管理信息集成系统中需要同步的数据主要有市政基础设施数据和业务数据两类。这两类数据的特点是频繁、大量、耗时和集中。数据由各行业数据经过筛选、过滤综合后向综合管理级同步。因此数据同步方案必须符合以下几点要求；保证海量空间数据同步的高效性；保证数据同步安全性；数据同步方案应具有较强的容错性；保证异构环境下的数据同步。 2　解决方案构想和设计 基于工作库和中间件的数据同步模型的总体设计思路可以概括为：首先对同步参数进行分类，针对不同类别的参数，设计不同的工作表，共同构成同步工作库。然后，结合工作库进行数据同步中间件的设计，把数据同步过程抽象为数据访问、数据捕获、数据传输、数据转换和安全验证等环节，分别对各个环节进行设计，然后进行一定程度的集成形成数据同步集成中间件。基于工作库和中间件的数据同步的总体模型如图1所示： 3　同步工作库 同步工作库是完成同步工作参数的集合，为数据同步做准备工作，是数据同步的基础。数据同步参数大致可以分为两类：一类是数据同步过程中进行数据过滤和筛选的一些“条件”，例如：同步表过滤、属性字段筛选等；另一类是用于同步的配置信息。如：同步方式、数据库连接、网络连接、同步功能选择等；具体说包括以下内容： (1)同步过滤。由于行业级所管理的数据与市政级所管理的存在很大差异，一般前者更详尽，后者则是前者在城市规划意义上的综合。因此，在行业级与市政级进行数据同步时会遇到两个问题：其一是行业级有些数据表参与数据同步，而有些表与同步无关；其二是参与同步的表中也存在有些字段需要同步，而有些字段不需要同步。对于这两个问题，如果要对海量的空间数据进行数据同步且没有进行同步数据过滤和筛选，则会大大降低数据同步的效率。因此，在进行数据同步时，必须对行业级同步表进行过滤，对同步表中同步字段进行筛选，通过拼接过滤串把不需要同步的数据屏蔽掉，从而减少数据同步量，提高数据同步效率。 (2)命名映射。在行业级与市政级进行数据同步时，可能会遇到命名冲突的问题，即存在属性字段名称不一致的情况。针对这种情况，需要对源表S与目标表T中存在命名冲突的属性建立映射关系，建立命名冲突映射表。 (3)类型映射。在行业级与市政级进行数据同步时，可能会遇到数据类型异构的问题。这种异构主要表现在两个方面：一方面是指行业级与市政级存在属性字段类型不一致的情况；另一方面是指源数据库和目标数据库选择不同的数据库系统导致的数据类型的不一致(精度差异和语义差异)。针对这个问题，需要预先设置存在差异 的数据类型的对应关系，建立数据类型映射表，进行数据类型的转换。 (4)数据库连接参数。数据库连接参数是指在进行数据库访问时连接源数据库或目标数据库的连接信息。数据库连接参数一般有DBMS类型、数据库服务器名、数据库名、用户名和用户密码等。 (5)数据同步基本参数。主要包括同步功能选择信息和同步工作基本配置信息。例如同步方式的选择(影子表法、时间戳法、控制表法)；同步频率，指两次同步的时间间隔；同步时间，指最近一次数据同步时间；同步优先级，指当多个数据库同时与中心数据库同步时，根据同步优先级排列同步秩序；是否进行加密以及加密或签名的元素等等。4数据同步集成中间件 该部分采用多层架构Web Service体系结构，并在一定程度上实现Web Service集成。从内部实现来看，本中间件设计是以Web Services的方式对外提供交互，以Web应用客户端和其它应用程序客户端从不同的平台，不同的软件开发环境调用该集成中间件的Web Services接口，从而获得来自不同数据源的数据，实现数据的透明访问。这部分结合同步工作库完成数据同步的主要工作，是数据同步核心部分。具体包括数据库访问、变化数据抽取、数据转换、数据传输、安全验证等五