数据同步中差异数据捕获设计与实现.pdfVIP

第38卷 第3期 北京化工大学学报(自然科学版) Vol.38,No.3 2011年 Journal of Beijing University of Chemical Technology (Natural Science) 2011 数据同步中差异数据捕获的设计与实现 孙广雨摇 山摇 岚* (北京化工大学 信息科学与技术学院,北京摇 100029) 摘摇 要:综合触发器和影子表法进行数据库变化的捕捉跟踪过程是由使用触发器来定位变化的记录、使用影子表 跟踪相应记录的变化、在关系映射索引下进行差异记录的异构运算等步骤实现。 综合法在传输数据变化时完成异 构数据结构的转化,实现异构数据的应用级同步,为日益增多的数据库应用同步提供一个的解决实现。 关键词:触发器;影子表法;异构;数据库同步 中图分类号:TP302郾1 可以经过结构映射反映到目标表与影子表上。 ‘影 引摇 言 子表爷分两部分:一部分是源数据表在目标数据结 数据库同步可把数据变化的信息从分枝结点及 构下的一个‘物化爷的快照Snapshot;另一部分是由 时准确汇集到数据中心,满足用户在最短时间内获 源、目的数据表间结构映射关系定义构成的,建立在 得最新数据需求。 差异数据捕获是数据库同步的基 源对象基础上而逻辑定义存储在‘影子表爷中的数 [1] 据视图Views。 各数据对象间的关系如图1所示。 础和前提 ,是整个数据库同步解决方案的核心, 作为计算机应用研究的重要方向相应的研究在理论 上和实际应用上具有重要意义。 当前差异数据捕获主要是快照法、日志法、API 法、影子表法、时间戳法和触发器法[2-3] ,上述方法 各具特色。 单一的捕捉方法存在自身的局限,如分 [3] 析效率提高的空间越来越小 。 本文介绍的综合 法,通过合理的控制运算的次序与粒度分划方法[4] 来提高捕获的效率、降低实施难度,达到配置简单、 高执行效率、系统适应性的兼顾。 图1摇 数据对象关系图 1摇 捕捉差异的设计思路 Fig.1摇 Database object relation diagram 1郾2摇 差异数据捕捉的分层流程 综合使用触发器和影子表方法,对源数据对象 如果在触发器内部来维护和定义源数据结构到 与目标数据对象之间结构映射的关系模型进行抽象 目标是数据结构的映射,则涉及到大量的逻辑运算, 分解,以逐层次推进的方式来完成变化差异的捕捉、 使得触发器本身逻辑变得复杂,手工维护的工作量 运算及传输。 变大且容易出错,代码的可阅读性和可维护性很低, 1郾1摇 影子表 不利于日常的管理和控制。 为此把数据同步涉及到 这里的‘影子表爷不再是文献[2 -3]中待同步 的数据对象进行抽象,把数据差异捕捉和差异SQL 对象的简单拷贝,而是与待同步数据对象存在映射 的生成工作分层展开依次处理。 关系的数据对象集合,在源数据表上发生的变化都 在图2左侧部分的触发器完成源数据变化事件 的捕获,右侧上半部完成异构转化生成目标SQL,右 收稿日期:2010-07-16