goldengate从入门到精通数据对比.pptxVIP

Goldengate从入门到精通讲师顾铁军Goldengate从入门到精通第7周Goldengate数据对比DATAGURU专业数据分析社区

法律声明DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军【声明】本视频和幻灯片为炼数成金网络课程的教学资料，所有资料只能在课程内使用，不得在课程以外范围散课播程，详违情者访将问可炼能数被成追金究培法训律网和站经济责任。

AgendaDATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军GoldengateVeridata体系架构安装Veridata使用veridata进行数据对比Veridata的优化和常见问题

Veridata架构DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军

Veridata组件DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军VeridataServer：协调veridata对比任务的执行、comparedata、COOS、sortrow、producereportVeridataWebUserInterface：配置对比对象和规则、initialcompare、reviewstatusandoosdata、repairoosdataVeridataRepository：不存储oosdata，可以是oracle、mysql或sqlserverVeridataAgent：和DB交互（hashrowforinitialcompare、Fetchandupdaterowstorepairout-of-syncdata、Returncolumn-leveldetailforout-of-syncrows）VeridataCommand-lineUtilities：reportutility（查询加密的oos数据和report）、 （手工发指令定义job去执行数据对比）、veridata_scripting（创建xml文件来配置veridata，代替使用webui）

Veridata技术特点DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军选择性、并行比较异构性：可以支持不同数据库之间的compare性能：大约十几M-几十M/秒；（按阶段来分，涉及到compare就慢了）对在线的支持：veridata可以脱离ogg运行环境，但是此时就没有在线的概念了。

Veridata数据对比流程DATAGURU专业数据分析社区Goldengat确e从认入门阶到段精（通也讲师称顾为铁C军OOS（confirm-out-of-sync）阶段）：这个阶段从MOSSqueue里取数据，两阶段初始对比（Initialcomparsion，或者称为行哈希对比阶段）：从源和目标查询行（如果格式不一致，会被自动转换成标准化的数据类型），进行第一次对比（PK列的值比较值、非PK列计算hash后进行比较，可以降低网络上的传输成本（当然也可以对非PK列比较列值，性能会慢且网络开销大））；第一次compare的不同步的记录，会存储在内存中的MOOSqueue中（maybe-out-of-sync）；（因为某些行的数据可能正在被复制，因此可能只是暂时有不同）

Veridata数据对比流程???In-flight：确认阶段发现源和目标这些行还是不一样，而且和第一阶段的比较也不一样，说明第一阶两段阶段之后这些行又有新的变化了，veridata无法确认是否同步；In-sync：确认已经同步；第二阶段对比的结果可能有3种：persistentlyout-of-sync：确认不同步；确认persistentlyout-of-sync的行保存在文件中(OOSfile,out-of-syncfile，可以是xml、bin等格式，非DB保存，该文件包含了需要选择这些数据进行重新同步的所有信息，包括了每张表的元数据信息。可以使用上一次的OOS文件作为下一次比较的输入信息）缺省情况下，阶段一与阶段二是通过不同的线程并行进行的，但是对于某一行来说，确认阶段一定会在指定的复制延迟时间过后才进行DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军

Veridata和对比相关的对象DATAGURU专业数据分析社区Goldengate从入门到精通讲师顾铁军Configuredatasourceconnections配置到agent以及需要对比的DB的连接（测试一下：无OGG是否可以？）Configuregroups包含一个或多个comparepair的逻辑容器；Comparegroup需