基于邮件的数据采集方案.pdfVIP

基 于 邮 件 推 拉 技 术 的 数 据 库 远 程 数 据 同 步 之 解 决 方 案 简 介 第 1 页 共 4页 基于邮件推拉技术 的数据库远程数据同步之解决方案 本文将介绍一种最廉价的、基于邮件推拉技术 （push/pull ）的远程数据库同 步的解决方案。所谓推拉技术，指定的是数据的主动传送及主动接收，需要发送 的数据会主动传至目的地，同时目的对象会自动接收并处理，二者之间无需任何 约定。在本解决方案中，我们将采用目前成熟的互联网邮件系统来实施推拉技术， 使整个系统具有很好的稳定性和可靠性。本方案适合于各种环境下的数据库同步 更新要求。 数据库复制技术目前有很多，各种大型数据库系统也集成了数据库的复制技 术，但这些集成的数据复制技术均有一定的限制。第一，对于异种数据库环境， 不能有效支持。如ORACLE 的数据复制技术不能向MS SQL SERVER 中同步数 据；第二，复制技术本身不考虑网络的连接问题。如果需要同步的数据库在远程， 则需要用户保证网络的连通性，否则是不可能进行数据同步操作的。鉴于以上限 制，要想实现广域范围内的异种数据库之间的数据同步，将会很困难。从软件技 术上，需要解决异质数据库之间的访问问题；从网络结构上，需要解决广域网的 连接问题，需要大量的人力及财力。 邮件技术 互联网中的邮件技术是互联网中使用最为广泛的技术，具有使用简单，性能 稳定，成本低廉等特点。利用邮件技术来实现数据同步复制，应该是一种好的选 择。 Internet 需要同步的数据 反馈信息 需要同步的数据 反馈信息 源数据库 目的数据库 如上图所示，源数据库将需要同步的数据生成邮件，通过互联网将邮件发送至目 标数据库上，再通过还原程序将邮件中的同步数据复制到数据库中。当目标数据 库处理完后，将执行等情况再通过邮件返回，供发送端处理。 这种远程数据的发送与接收，不需要专门的网络线路或VPN 网，只需要与当地 的ISP 连接即可，可以省去大量的通讯费用。 Internet 本地ISP 本地ISP 源数据库 目标数据库 推拉技术 推拉技术的实现的主要靠服务器上的一个服务程序来完成，该服务程序是一 个面向所有数据库的接口，负责解析所有的任务请求并完成数据库数据的更新。 下图是一个服务程序的流程框图： Internet 邮件接收器 邮件发送器 PULL PUSH 邮件分解 邮件合成 任务分配 读取 数据库 器 写入 任 任 任 务 务 务 请 请 请 求 求 求 1 2 N 如图所示，所有的事务请求均通过任务分配器来完成，任务分配器根据任务需要 生成邮件，发往目的端；同时任务分配器主动接收来到其它数据库服务器的数据 同步邮件，通过分解处理后写入指定的数据库中，完成对数据库的更新。其