数据库同步技术中变化数据捕获模式的研究与比较.pptVIP

数据库同步技术中变化数据捕获模式的研究与比较 前言 通常，在数据同步的过程中，目标数据库中所需要的数据都是由源系统提供的。随着数据量的不断增长，资源和时间的消耗都是巨大的，特别是要求实时或近时的数据库，每次数据同步的间隔时间可能更短。因此如果只是加载自上次提取之后发生变化的数据，那么效率就会明显增加。但是，在数据巨大的原系统中，识别并提取最新变化的数据，即便是可能的，也是非常困难的。除了识别最新变化的数据外，从一个源系统到多个目标系统同步改变数据也是一个挑战。 变化数据捕获（CDC—Change Data Capture），它简化了识别上次提取之后发生数据变化的过程，也就成为了解决各系统数据同步的基础。 变化数据捕获 变化数据捕获（CDC），是用来描述捕获增量变化数据到其他数据库或数据源。 CDC能够识别自上次提取之后发生变化的数据，在对源表进行增删改操作的同时就可以提取，并且将变化的数据保存在变更表中，然后以一种可控的方式利用视图提取给目标数据库。 CDC是一个发布者/订阅者模型。发布者识别捕获变化数据，将其保存在变更表中，提供给订阅者；订阅者创建订阅者视图，从发布者那里获得授权的变化。一个发布者可以支持多个订阅者，也就是通常提到的一对多的关系。 变更表 变更表中包含了源表中变更的数据。变更表中的数据 分为两部分，一部分是变更数据本身，发布者将源表的主键和订阅者指定的数据加入到变更表中；另一部分是变更表中必要的和可选的控制数据，可选的控制数据由发布者在创建变更表时指定。控制数据由CDC来管理。 变更集 变更集是一组变更的数据，它作为整体来管理，可以保证事物的一致性。一个变更集属于一个变更源，一个变更源可以包括多个变更集。 数据变化捕获方式 当前的CDC有两种捕获数据方式：同步CDC和异步CDC。异步CDC又分为3种模式：异步HotLog模式、异步分布式HotLog模式、异步AutoLog模式。 同步DCD模式 异步HotLog模式 异步分布式HotLog模式 异步AutoLog模式 在异步AutoLog模式下，数据变化通过重做传输服务从重做日志文件或者归档日志文件中进行捕获。重做传输服务自动捕获日志从源数据库到中间数据库。配置这种模式，需要设置数据库参数LOG_ARCHIVE_DEST_n做本地日志的归档目录。源数据哭的发布者配置日志传输服务，然后从源数据库拷贝重做日志文件到中间库，在中间库自动注册重做日志文件进行数据同步。 异步AutoLog online 模式 异步AutoLog Archive 模式 总结 上述4类变化数据的捕获方式，各种方式都有其优缺点，各自依托于实际的技术领域和运行的业务环境，没有哪一种方式能取代其他方式成为通用标准。 通过表的比较，我们可以看出各类CDC模式的技术特点。同步CDC模式通过在源数据库上建立触发器的方式来获取增量数据，因此可以做到实时抽取，但是对源系统影响较大；异步HotLog模式需要直接从源数据库解析日志文件，会有一段时间的延迟，并会对元数据库有一定的压力；异步AutoLog模式则是直接把数据库的文件日志文件传到中间库，然后进行日志分析，这样的方式对源库性能影响最小、数据传递性能最大。 因此，根据数据库规模，合理的利用变化数据库捕获技术能使我们更好的达到数据快速抽取的目标，以满足业务需要。 * *