基于日志分析的sqlserver数据库变更数据捕获方法的研究与实现aoklf_b8.docVIP

基于日志分析的SQL Server数据库变更数据捕获方法的研究与实现 摘 摘 要 要摘 摘 要 要传统的数据集成、数据传播和 ETL工具都是周期性把源端大量的数据转移到目标端, 已无法满足新的商业需求,如数据仓库的持续更新、接近实时的商业智能以及业务数据存 储。基于事务日志的变更数据捕获技术就为这些新 IT业务需求提供了一种新的解决方案。 本文在介绍事务日志原理和数据库恢复技术的基础上,提出了基于日志分析 SQL Server数据库变更数据捕获方法。该方法通过异步读取事务日志,捕获变更数据。主要解 决了以下几个问题: 1 防止未捕获变更数据的事务日志被截断; 2 事务部分回滚中补偿日志的问题; 3 制定捕获进程重启处理的正确方案,以及如何减少重启的时间; 4 提高捕获进程的效率。 关键字:事务日志,SQL Server数据库,变更数据捕获,部分回滚 I Abstract Traditionally, Data Integration, Data Propagation, and ETL extract, transform and load processes run on a periodic basis weekly, daily and use a bulk data movement approach that moves and integrates the entire source data to a target data source. This approach is limited in its ability to deal with new trends and business requirements, some of which include continuous refreshing of a DW, near real-time business intelligence and operational data stores. Based on transaction log Change-Data-Capture CDC technology provides a solution to IT operational challenges and the new business modelsThis paper introduces the principle of transaction logs and database recovery techniques,proposes a change-data-capture method based on SQL Server database log analysisBy means of the asynchronous read transaction log, this method captures data changes.This thesis addresses the following issues: Firstly, avoid that the transaction logs not captured change data are truncated; Secondly, how to process compensation logs for partial transaction rollbacks; Thirdly, develop the right algorithm for the restart of capture process, and how to reduce restart time; Finally, to improve the efficiency of capture process Keywords: transaction log, SQL Server database, change data capture, partial rollbackIII目 目 录 录目 目 录 录摘 摘 摘 摘要 要 要 要..I ABSTRACTIII 目 目 录 录V 目 目 录 录 第 第 第 第一 一 一 一章 章 章 章 绪 绪 绪 绪论 论 论 论1 1.1 课题背景与来源1 1.2 相关研究工作 2 1.3 本文研究意义和主要工作. 2 1.4 论文安排3 第 第 第 第二 二 二 二章 章 章 章 变 变 变 变更 更 更 更数 数 数 数据 据 据 据的 的 的 的捕 捕 捕 捕获 获 获 获方 方 方 方法 法 法 法. 5 2.1 捕获方法 5 第 第