异构数据库间主动式差异数据同步模型的研究.pdfVIP

第29卷第3期 河南科技大学学报：自然科学版 V01．29No．3 2008年6月 ofHenan ofScienceand Science Jun． 2008 Journal University Technology：Natural 异构数据库间主动式差异数据同步模型研究 王辉1，李贤敏1，周英梅2 (1．河南科技大学电子信息2-．程学院，河南洛阳471003；焦作万方集团有限责任公司，河南焦作454351) 摘要：随着各类信息管理系统的广泛应用，解决异构数据库间数据集成和数据同步就成了当前的研究热点。 针对目前数据集成中主要存在的差异更新难以实现和不能实时同步更新两个主要的技术难题，在充分研究数 据集成的基本理论和相关技术的基础上，提出了异构数据库间进行差异数据主动式数据同步的模型，该模型 利用Java，XML，ODS等技术，通过在异构数据节点上部署数据包装器和日志监视器，完成羿构数据库间主动 式双向点对点数据差异实时同步。 关键词：异构数据；数据差异同步；主动式 中图分类号：TP311．13 文献标识码：A 0 前言 随着各类信息管理系统的广泛应用，数据集成已经变得越来越重要和普遍，但是由于数据的多样性 和异构性，数据集成面临着许多亟待解决的问题…。(1)当一个业务子系统需要另一个业务子系统的 数据时，如何实时地获取这些业务数据，即数据的实时共享问题；(2)当前各个子系统的数据库很有可 能是由各种不同的数据模型来表示和存储数据，数据的格式混乱、访问接口独立，如何整合现有的异构 数据库；(3)信息孤岛的存在导致信息的重复输入和多口采集，影响数据的实时性，影响操作和决策支 持，影响信息化的集团化、行业化应用等。因此数据集成的目的就是解决数据的一致性、数据的及时共 享、差异数据的实时同步、数据实时和透明性访问等技术问题心’。 目前数据集成采用的主要体系结构为数据仓库，该方法需要建立一个存储数据的仓库，由ETL( Extract，Transform，andLoad)工具定期从数据源过滤数据，然后装载到数据仓库，供用户查询。所有 的查询都针对数据仓库中的数据，数据仓库必须随数据的变化而随时更新。这种方法主要应用于检索 型系统，但它存在以下缺陷：(1)数据的集成是单向的，集成数据库无法作为数据源为其他的信息获取 者服务；(2)数据的同步存在较大的延时，无法实时的反应真实数据；(3)预处理烦琐，需要编写大量的 转换程序¨。4。。此外，某些数据集成采用虚拟视图的方式，将分布在不同数据库中的数据源以虚拟视图 的方式组织成为本地的集成数据，这种方式只有在网络访问质量较高、统一或兼容的数据库系统中才能 够很好的发挥其功效。由于目前的数据库中往往存储数据量高达几十万甚至上亿的海量数据，在进行 数据同步时，我们力求尽可能短的时间完成数据的同步，如果采用完整数据的同步方式是非常不切实际 的。 鉴于在数据集成中主要存在的差异更新难和不能实时同步更新两个主要的技术难题，本文在充分 研究数据集成的基本理论和相关技术的基础上，提出了异构数据库间进行差异数据主动式数据同步的 模型p。1。将源数据库中各种允许被共享的异构数据通过源数据包装器进行包装，用于点对点的数据 传输和数据同步；在系统环境中的每一个异构数据节点中注入日志监视器监视该节点数据库的数据变 化和需求变化，并将其转换成统一的数据格式后发送给源数据节点的数据包装器进行主动同步更新，在 本文提出的差异数据同步模型中，每个异构数据节点既可作为源数据节点为其他异构数据节点提供同 步数据，同时亦可作为数据同步时的目标数据节点，同时允许多个源数据节点和多个目标数据节点同时 存在，因此，本模型系统可以实现异构数据的双向实时同步nq】。 基金项目：国家自然科学基金项目；教育部科学研究重点项目(200202) 作者简介：王辉(1966一)，女，河北保定人。副教授，硕士，主要研究方向为数据挖掘和网络性能改善 收稿日期：2007—1l一29 万方数据 第3期 王辉等：异构数据库问主动式差异数据同步模型研究 ·49· 1 名词解释 1．1数据包装器 部署在每个异构数据