DSG RealSync管理手册.doc

DSG RealSync 操作管理手册 2012/1/14 DSGdata Inc.  目 录 1 RealSync工作原理 4 1.1 原理概论 4 1.2 日志抓取（Data Capture） 5 1.3 日志分析（Analyze） 5 1.4 交易合成（Synthesize） 6 1.5 交易传输 7 1.6 数据装载 8 2 realsync支持列表 10 2.1 首次全同步 10 2.2 复制关系维护 10 2.3 DML操作复制支持 10 2.4 DDL操作复制支持 12 2.5 常见的不支持操作及处理方式 14 3 各复制端口一览表 16 4 软件部署结构说明 19 5 发起全同步并启动复制 20 6 realsync目录和文件结构说明 23 6.1 源端安装目录说明 23 6.1.1 config目录重点文件说明 23 6.1.2 scripts目录中的文件说明 23 6.1.3 bin目录重点文件说明 24 6.1.4 log目录重点文件说明 24 6.1.5 rmp目录重点文件说明 25 6.2 目标端安装目录说明 25 6.2.1 scripts目录重点文件说明 25 6.2.2 bin目录重点文件说明 26 6.2.3 log目录重点文件说明 26 6.2.4 rmp目录重点文件说明 26 7 realsync日常维护 28 7.1 进程检查 28 7.1.1 数据复制的进程检查 28 7.2 如何停止和启动进程 29 7.2.1 源端进程的停止 29 7.2.2 源端进程的启动 29 7.2.3 目标端进程的停止 30 7.2.4 目标端进程的启动 30 7.3 日志监控 31 7.3.1 源端日志分析监控 31 7.3.2 目标端装载日志 34 7.4 队列累积查看 36 7.4.1 源端日常是否xf1积压 36 7.4.2 目标端日常是否xf1积压 37 7.5 如何进行重新全同步 37 7.5.1 停止并清空源端的realsync程序只需执行full_sync_ds.sh 37 7.5.2 停止并清空目标端的realsync程序秩序执行full_sync_dt.sh 40 7.5.3 重新启动源端的realsync程序只需执行start_dsg.sh 41 7.5.4 重新启动目标端的realsync程序只需执行start_dsg_dt.sh 42 7.5.5 确认全同步已经结束并且进入到实时同步阶段 42 7.6 如何修改日志分析间隔 45 7.7 维护需要过滤的DDL操作 45 7.7.1 过滤DDL操作的意义 45 7.7.2 支持的过滤操作种类 45 7.8 日常需要删除的一些文件 48 7.8.1 检查磁盘阵列的剩余空间 48 7.8.2 删除源端realsync的文件 48 7.8.3 删除目标端realsync的文件 49 RealSync工作原理 原理概论 RealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。 如上图所示，RealSync在数据源（Data Source，简称DS）端和数据目标端（Data Target端，简称DT）分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。 当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成XF1数据格式，并实时通过网络传送到Data Target系统。 Data Target系统的RealSync Agent接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。 日志抓取（Data Capture） RealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来获取Data Source端的交易类型及数据的。 RealSync Agent在判断Data Source端的Oracle系统是否有新的交易产生时是通过定期检查oracle提供的视图中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。 在确认有新的交易产生时，可以同时获得当前的Redo Log 组，