基于快照比对的增量数据捕获研究和实现.pdfVIP

第三届全国信息捡索与内容安全学术会议 基于快照比对的增量数据捕获研究与实现 许力，马瑞新 (东软股忸大连分公司基础软件事业部，大连116023；大连理工大学软件学院．大连116200) Data 摘要： 在对现有关系数据库增量数据捕获CDC(ChangeCapture)方案优缺点分析的 基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进 行了论述，最后总结了方案当前存在的问题和改进方向。 关键词： 增量维护；快照；CDCETL Researchand of ApplicationChange Data Basedon Capture Snapshot Com parison Xu1i， Mamixin Dalian soft．raredepartmentofNeusoftr116023；DalianuniversLtyoftechnology—Dalian116200) (Fundamental the andCOnin Data forrclational Abstract：After of pro existingCDC(ChangeCaptur℃)methods analysis aCDCsolutionbasedon that，discussedthis database，thisforwarded paperput snapshotComparison．After test Concludedsolution+S and atlast． solutionsvalidationand result problemsimprovementaspects process words：incremental key maintenance；snapshot；CDC；ETL 1 引言 Data Transform Load)过程所 增量数据捕获CDC(ChangeCapture)是ETL(Extract 要解决的主要问题之一。CDC用于捕获业务数据库中数据更新操作，为OLAP数据库， 报表数据库，数据仓库，商业智能数据库等企业应用数据库数据同步更新提供增量数据 抽取服务。 783 第三届全国信息检索与内容安全学术会议 2现有增量捕获方式分析 Data 增量捕获CDC(ChangeCapture)是指捕获数据源中产生的增量数据，并提供 给其他企业应用软件的过程[1】。CDC的功能主要是保障分布异构数据库中数据的同步。 参考了文献[2】，【3】中介绍，归纳出目前可行的CDC增量抽取方式主要有以下六种： 1．创建触发器 2． 时间戳方式 3．标志位方式 4． 分析数据库日志 5． SQL语句捕获方式 6． 。