基于日志分析的SQL Server数据库变更数据捕获方法的研究与实现.docVIP

基于日志分析的SQL Server数据库变更数据捕获方法的研究与实现 摘 摘 要 要摘 摘 要 要传统的数据集成、数据传播和 ETL工具都是周期性把源端大量的数据转移到目标端, 已无法满足新的商业需求,如数据仓库的持续更新、接近实时的商业智能以及业务数据存 储。基于事务日志的变更数据捕获技术就为这些新 IT业务需求提供了一种新的解决方案。 本文在介绍事务日志原理和数据库恢复技术的基础上,提出了基于日志分析 SQL Server数据库变更数据捕获方法。该方法通过异步读取事务日志,捕获变更数据。主要解 决了以下几个问题: 1 防止未捕获变更数据的事务日志被截断; 2 事务部分回滚中补偿日志的问题; 3 制定捕获进程重启处理的正确方案,以及如何减少重启的时间; 4 提高捕获进程的效率。 关键字:事务日志,SQL Server数据库,变更数据捕获,部分回滚 I Abstract Traditionally, Data Integration, Data Propagation, and ETL extract, transform and load processes run on a periodic basis weekly, daily and use a bulk data movement approach that