利用MQ实现分布式应用系统间数据传输.doc

利用MQ实现分布式应用系统间数据传输摘要：本文简要介绍了MQ的基本概念、结构特点、工作原理、基本配置及其在实际中的应用，并详细论述了应用系统在利用IBM MQ中间件实现系统间数据交互设计时需要思考的内容和解决思路，及数据传输应用过程中需要注意的几个问题。 关键词：MQ应用系统 1、引言 随着计算机网络和分布式应用的不断发展，远程消息传递越来越成为应用系统中不可缺少的组成部分，WebSphere MQ（以下简称MQ）是IBM公司享有盛誉的商业通信中间件，提供一个具有工业标准、安全、可靠的消息传输系统。它以消息的方式接收、发送数据，具有组网灵活,能将应用和底层的网络分开,程序间通信独立于网络,可靠性强且传输效率高等特点，并具有开放性、扩展性、先进性、安全性、可管理性和易于维护开发等特性。已被世界范围的许多大型企业广泛采用。 2、MQ部署结构 利用MQ在分布式应用系统间实现MQ数据传输，需要各应用系统设置专用传输服务器，安装MQ SERVER和统一传输平台接口软件发送、接收数据，由专门的数据读写程序负责将需要传输的数据从应用服务器指定目录下读出放到MQ队列或将数据从MQ队列取出放到应用服务器指定目录下，供应用系统使用。 3、MQ数据传输设计 随着信息系统建设与应用水平的不断发展，应用系统传输中涉及的数据类型也在不断增多其中包括文本、文档和图片等，数据量也变的越来越大。当大数据量的信息需要通过MQ服务器进行系统间交互时，就会面临数据传输时间长、受网络因素影响严重、容易造成MQ通道阻塞及系统数据安全性等问题。 3.1 MQ报文名格式 一般情况下在MQ报文名格式设计时需要考虑以下几个方面的内容： 3.1.1数据传输类型 MQ传输技术可以满足多个不同应用系统间的数据传输需要，建立区别于不同应用系统的类型标识和代表不同传输内容的报文传输类型，更加有利于对不同应用系统的传输数据进行管理和维护。 3.1.2传输数据流量对MQ传输通道的影响 在MQ数据传输过程中如果在某一段时间内各应用系统传输内容过多、数据量过大，容易造成MQ传输通道的阻塞，因此在进行MQ传输设计时，需要考虑对各应用系统的数据传输内容的大小进行测算和限制，即根据应用系统的实际情况，估算出系统每天进行数据交互时可能产生的数据量大小，再通过对数据内容拆分、限定数据报文大小等方式，来实现流量控制。 3.1.3报文生成日期 MQ传输报文名中应记录传输报文产生的日期，日期格式即要满足加密要求，又要满足易于转换成标准格式进行查询和使用的要求。 3.1.4发送端标识、接收端标识 在报文名规则中设置发送端、接收端标识主要用于区分分布式系统间数据的传输流向。 通过对上述主要问题的分析，来最终制定出符合系统实际需要的MQ报文名格式。如定义报文文件名格式 [X][F][H][XX][YMD][NNN][SS][DD]，各标识代表含义如下： (1)X表示应用系统类别； (2)F表示数据流向标志； (3)H表示回执标志； (4)XX表示传输数据类型； (5)YMD表示报文时间年月日转换码； (6)SS表示发送端标识； (7)DD表示接收端标识； 3.2 MQ报文内容格式 MQ报文中的内容包含各应用系统中的数据库表记录、文本、文档、图片等不同类型的信息，为了使应用系统能够有效区别出这些传输信息，实现系统间数据交互，需要对MQ报文内容格式进行必要的设计。即：每个报文可由一个报文起始行、一个或多个数据行、一个报文结束行组成。同时根据应用系统传输流量确定每个报文的最大容量。下面将对每行信息所代表的含义进行详细解释。 3.2.1报文起始行 报文内容格式设计时，为了实现系统数据导出、数据内容拆分、报文合并、传输数据入库的要求，可在报文起始行中记录应用系统的相关信息。如：传输的业务信息分类、本次传输报文数起始标志、报文数据类型、报文数量、报文总数量、表空间.表名、导出条件等内容，并以回车换行结束。 发送端应用系统在导出传输数据时，将按照规则对较大的传输数据进行拆分，并在每个传输报文的起始行中记录对应的标志信息。当数据报文经过MQ传输到目标应用系统后，入库程序即可根据传输报文起始行中的信息，查找到本次传输的报文文件，合并后导入到接收端应用系统。 3.2.2报文数据行 传输数据内容为数据表记录时，报文数据行记录数据表中的每条记录信息，正文字段之间以特殊符号（如@）分隔，并以回车换行结束。当传输数据为文档、图片等内容时，报文数据行则记录文档、图片数据的二进制编码内容，二进制数据内容超过文档最大容量时该报文写入结束，数据将自动写入下一个报文