SQL_SERVE_CDC_增量数据抽取.docVIP

SQL SERVER CDC 增量数据抽取.版本历史 日期 版本 描述 作者 26/04/2010 1.0 SQL SERVER CDC 增量数据抽取方案拟制 刘建军，  目录 1、概述 4 1.1、需求概述 4 1.2、场景分析 4 2、依赖关系 5 3、服务方案 5 3.1 设计的目标 5 3.2 相关关键技术说明 5 3.3、报表服务方案 11 3.4 报表服务表结构 13 3.5 报表服务过程及其描述 14 3.6 报表服务使用 14 1、概述 1.1、需求概述 本文档的主要目的是提出和测试报表服务实现，来提高Q3系统的报表统计性能。 该服务方案主要参考ERP报表服务方案，并结合Q3系统与SQLServer2008数据库的特点来实现，并尽量统一规划以提高该方案的兼容性。 1.2、场景分析 报表服务需要将要进行统计、分析的数据库某一业务相关数据在一段时间内的变化（增量数据），同步到报表服务中间库，并将统计结果报表同步更新，这就需要： 报表中间库转储和引用业务库对象。 同一数据库实例上不同数据库或分布式数据库的变更数据捕捉 获得数据增量、并根据增量形成增量报表数据同步报表中间库。 或直接同步报表中间库。 业务执行的唯一性。 抽取日志的记录的记录。 增量数据日志记录清除。 同步异常记录。 2、依赖关系 Q3系统采用SQLServer2008数据库，并且该版本数据库提供了CDC（change data capture）捕获变更数据的方法change data capture): ??? CDC为数据仓库常用技术手段对数据库执行insert、update、delete操作的时候，捕获变更数据的方法CDC的原理是每次对源表(Source Tables)执行时，数据库事务日志会记录DML操作造成的变更数据，然后捕获处理过程将日志中源表的变更数据写入变更捕获表(Change Tables)SQL Server Management Studio、服务)，启用数据库的SQL Server Agent启用了数据库的CDC特性EXEC sys.sp_cdc_enable_db 执行存储过程，对数据库中某一表启用CDC特性EXEC sys.sp_cdc_enable_table @source_schema = Ndbo , @source_name = Ntest , @role_name = Ncdc_admin , @capture_instance = Ntest_cdc1 , @supports_net_changes = 1 , @index_name = NPK_test , @captured_column_list = Ncol1,col2,col3 , @filegroup_name = NPRIMARY; 系统自动建立变更捕获表，变更捕获表的命名规则是实例名+CT__$operation代表的是执行的是何种DML，1=delete，2=insert，3=update（更新前），4=update（更新后）多个CDC函数sys.fn_cdc_get_max_lsn 返回 cdc.lsn_time_mapping 系统表中 start_lsn 列中的最大日志序列号 (LSN)。您可以使用此函数为任何捕获实例返回变更数据捕获时间线的高端点。sys.sp_cdc_cleanup_change_table 清除变更数据存储过程 使用sys.sp_cdc_cleanup_change_table存储过程清除变更数据。在启用数据库CDC时，系统自动在SQL Server Agent中加入每日清除变更数据的作业。 停用CDC存储过程用于停用CDC实例。EXECUTE sys.sp_cdc_disable_table @source_schema = Ndbo, @source_name = Ntest1, @capture_instance = Ntest1_cdc1; 存储过程用于停用数据库CDC功exec sp_cdc_disable_db SQLSERVER应用程序级锁 SQLSERVER提供了数据库级应用程序锁，该应用程序锁提供了可利用SQLServer检测阻塞和死锁的机制，来锁任何想要锁住的资源的方法。 存储过程使用应用锁示例： --开启事务 begin tran --对存储过程加应用锁 EXEC sp_getapplock @Resource = MyProcedure,