过交易重组,分批加载等技术手段大大加快数据.pdfVIP

Oracle GoldenGate Oracle GoldenGate OOrraacclleeGGoollddeennGGaattee测试文档 1 OracleGoldenGate 1 OracleGoldenGate 11．OOrraacclleeGGoollddeennGGaattee介绍 GoldenGate TDM（交易数据管理）软件是一种基于日志的结构化数据复制软件，它通 过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据 库，实现源数据库与目标数据库同步、双活。GoldenGate TDM 软件可以在异构的IT基础 结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复 制，其复制过程简图如下： 如上图所示，GoldenGate TDM的数据复制过程如下： 利用捕捉进程(CaptureProcess)在源系统端读取Online Redo Log或Archive Log，然后进行解 析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为GoldenGate TDM自定 义的中间格式存放在队列文件中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。 捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前 完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复 制； 目标系统接受数据变化并缓存到GoldenGate TDM队列当中，队列为一系列临时存储数据变 化的文件，等待投递进程读取数据； GoldenGate TDM投递进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本 地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置，数据的复 制过程最终完成。 由此可见，GoldenGate TDM是一种基于软件的数据复制方式，它从数据库的日志解析 数据的变化（数据量只有日志的四分之一左右）。GoldenGate TDM将数据变化转化为自己 的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达 9:1的压缩率对数据进行压缩，可以大大降低带宽需求。在目标端，GoldenGate TDM可以通 1 过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占 用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的 GoldenGate TDM提供了灵活的应用方案，基于其先进、灵活的技术架构可以根据用户 需求组成各种拓扑结构，如图所示： GoldenGate TDM 可以提供可靠的数据复制，主要体现在下面三点： 保证事务一致性 GoldenGate TDM 在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的 顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为 实时查询和事务处理创造了条件。 检查点机制保障数据无丢失 GoldenGate TDM的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进 程，其检查点记录当前已经抽取日志的位置和写队列文件的位置；对于投递进程，其检查点 记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate TDM进程 故障重启后数据无丢失。 可靠的数据传输机制 2 GoldenGate TDM 用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完 成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备份端。数据传输 过程中支持128位加密和数据压缩功能。 Oracle 公司的GoldenGate产品，可以在异构的IT基础结构之间实现大量数据的秒一级 的数据捕捉、转换和投递。GoldenGate可以支持几乎所有常用操作系统如和数据库平台，如 下表所示： 操作系统 数据库 MS N