数据集中方案.docVIP

TongTech ? ?中国人民保险公司数据集中项目 中间件建议方案 东方通科技公司 2002年1月  前言 人保财险公司经过多年的发展从保险的种类到业务量都有了很大的发展，目前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种类，业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业务上和管理上的需要，已由原来完全分布式的业务数据模式走向地市一级的分布式集中模式。最近由中科软与尚洋合作开发的“PICC财产险业务系统”采用地市集中的方式，软件开发采用面向对象的分析和设计思想，已经在多个地市进行了试点运行。在网络建设方面已经形成了省到地市、地市到县的FR/DDN网络格局。这些都为下一步的数据集中利用和业务的拓展打下了坚实的基础。 数据集中是现在各行各业应用系统发展的一大趋势，金融、电信行业由于其发展的较早，经济和技术实力较强已经走到了前面。金融行业已有许多省份实现了省级的数据集中，移动总局也已经明确提出了省级数据集中的运营模式。在保险行业，由于过去一直采用数据分布的应用模式，如今采用地市级的数据集中应用模式是向更高层次集中的必要尝试和过渡。 问题及需求分析 本文对地市级以下的业务系统不做深入讨论，仅限于省级数据集中备份系统的相关问题。 对于各个地市数据中心的数据在省级中心做增量数据集中，目前有两种方式：采用数据库厂商提供的数据库复制技术、用应用程序来实现。无论选用何种方式，在技术实现上应该满足以下基本业务要求： 能够满足不同操作系统平台间（不同数据库版本、甚至异构数据库）的数据复制能力。 数据通讯过程中的正确性应该得到保障。 对数据传输过程中可能遇到的网络问题、主机问题应该能够有很好的应对机制，能够可靠传输，做到不重、不丢。 整个数据集中系统应该具有良好的通讯效率和处理效率，满足数据准实时集中同步的要求。 要满足上述业务上的需求，采用常规的数据库复制方式和一般的应用方式是难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理方式过于简单，低层通讯的正确性、资源的有效利用和网络故障的处理应对、主机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱码、网络抖动或拥塞时，数据集中业务过程无法有效进行等问题。 目前，针对此类应用（非联机事务处理系统，强调可靠性、非关联性、实时性要求不高）特点，各行各业广泛采用消息中间件来实现。消息中间件是一种基础软件，在系统中的位置处在操作系统之上和应用之下，它可用来隔离应用系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品叫TongLINK/Q。TongLINK/Q负责网络资源的有效利用、消息数据传输、为应用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使用是异步方式调用，此时地市数据发送方只要将数据交给本地的中间件TongLINK/Q，而TongLINK/Q负责将数据高效、可靠地传输到省中心并提交给相应的目标程序进行入库处理。 数据集中方案 省级数据集中方案是当市级公司数据库数据发生变化时，对其所在省的省级的数据库数据做相应同步的过程。要达到这一目的有两种方式：一是将市级公司数据库的操作与省级数据库的操作作为同一个事务进行处理，即操作同时成功或同时失败；二是将二者的操作分离，正常的业务处理与数据集中处理分别来做。对于前者，由于需要在地市和省级公司做同样的数据库操作，原来的业务处理量相当增加了一倍，并且如果市级公司出现问题（如：网络故障）将直接导致本地正常业务无法进行。所以建议采用第二种处理方式。 由于此时对于数据集中备份过程而言，它是一个必须要完成的工作，而在时间上只求尽快、可靠完成，并无严格的时间限制，所以这里建议采用消息中间件产品TongLINK/Q来实现。另外，在应用层面，为了使集成商开发的应用系统相对独立，对数据集中备份过程建议采用一套独立的应用来完成。 方案思路： 在市级公司数据中心编写一个定时启动程序或守护进程，用来采集数据库的变化数据，一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的可靠队列中。在省级数据中心，编写对应服务程序，它在接收到数据后将在本地执行相应的数据库处理以达到数据同步。TongLINK/Q还可以保障服务处理的可靠，即如果服务程序在执行相应的数据库处理时意外失败，TongLINK/Q将记住这一问题，再次提请相关服务程序进行处理，直到成功。 系统结构 中间件部署图 结构框架图 说明：系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/Q系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数据做识别和提取，并形成数据包或文件，然后通过TongLINK/Q的API接口作为一项任务消息提交给TongLINK/Q即完成。客户