浅谈跨内外网交换平台海量卡口数据实时同步交换方法.docVIP

浅谈跨内外网交换平台海量卡口数据实时同步交换方法 　　摘 要：着力探讨海量数据如何跨网闸实时同步复制的方式，通过对多种跨网闸数据交换方式的性能和安全评测，选择使用oracle goldengate实现海量卡口数据实时同步交换，在实际应用中，交换通道运行稳定，性能高、安全可靠、维护成本低，满足了海量数据交换应用的需求，对同类问题的解决具有借鉴作用。 　　关键词：网闸；数据复制；goldengate；海量数据交换 　　中图分类号：TP311 　　上海卡口系统部署在独立的网上，各分县局负责建设本辖区的系统，采集本辖区的卡口过车数据，并存贮在本地。市局在图像网上对各分县局卡口系统的过车记录数据进行了抽取整合，集中存储。根据统计，全市每日卡口过车数据增量接近5000千万条，存储容量日均增长10GB。 　　上海公安卡口系统网和公安网完全物理隔离，而公安业务信息系统主要部署在公安网上，为了开展卡口数据在公安网上共享应用，需要将图像网中的卡口过车记录数据同步交换到公安网。目前，在两张网之间搭建了基于网闸的内外网交换系统，但采用什么方式通过网闸进行海量卡口数据安全、实时的交换是本文主要讨论的问题。 　　1 内外网交换情况分析 　　1.1 上海公安内外网交换平台简介 　　为了实现公安网和图像网数据共享交换，市局在两张网之间部署了基于网闸的数据交换平台。交换产品采用合众软硬件一体化的安全数据交换系统，提供数据库、文件、流数据安全交换，并提供文件格式检查、病毒查杀、数据加密、交换审计等安全服务。 　　合众安全数据交换系统从硬件上由两部分组成：外网交换服务器（OES）和内网交换服务器（IES）。在OES和IES之间部署网闸实现隔离，其拓扑图如图1所示： 　　图1 上海公安内外网交换平台拓扑结构 　　1.2 在可用交换方式下，对海量数据实时交换方式的测试研究。 　　1.2.1 数据库交换方式效率的测试与评估 　　针对卡口过车记录数据海量增长特性，对交换平台提供的数据交换方式进行评估分析，测试验证各种可行的数据交换方式，通过实际评测后，确定最终可以选用的技术方案。 　　首先，评估数据库交换方式的可行性。从合众内外网数据交换平台的性能特性可知，在理想条件下，即不考虑源库、目标库、交换平台性能瓶颈条件下，该平台每秒钟最高可交换数据记录数为4000条，但在实际测试中，每秒钟只能实现300余条数据记录的交换，原因分析是源库和目标库的io性能差所致。而卡口过车记录一天生产大约5000万条，平均每秒钟产生600条，若考虑上下班高峰时段，每秒钟实际过车记录数目可能超过2000条，可见交换平台的数据库交换方式不能满足实际需求。 　　其次，对于文件交换方式，通过实际测试每小时可以实现近2TB的数据交换。而卡口系统数据库存储容量日均增长约为10GB，每小时增长450MB；卡口系统数据库的归档日志日均生产量为500GB，每小时接近20GB，可见无论采用数据库导入导出方式还是采用日志挖掘复制方式的文件交换方式均可以实现海量卡口过车记录数据交换。 　　1.2.2 数据交换方式的选择 　　可以文件交换方式实现数据同步实时复制的主要技术有数据复制类工具和数据导入导出工具。 　　分析数据库复制类技术，其中一种数据库复制方式是挖掘数据库操作日志，解析出数据库操作命令和数据，打包成特定格式的文件后，传输到目标端，按照事务执行顺序在目标库执行数据库操作命令，实现数据复制，采用该技术的主要工具有oracle goldengate、stream、dds等cdc工具；第二种方式是采用数据库恢复技术，通过传输数据库的归档日志和在线日志到目标数据库，在目标库端进行数据库恢复操作，实现数据复制，采用该技术的工具有oracle dataguard等；第三种方式利用oracle导出导入工具定时从源库导出数据，生成dump文件，通过交换平台交换dump文件到公安网的目标库，利用oracle导入工具在目标库中导入源库数据，达到数据复制目的，通过编写数据导出，交换和导入程序，实现自动的数据导出、交换和导入工作，达到数据复制目的。 　　通过对上述三种文件交换方式评估和实际测试，得出如下结论：（1）采用dump文件交换的方式，需要编写程序，工作量大，整个交换通路运行并不稳定，缺少有效的数据监控方法和工具，时常会造成数据丢失，数据复制难以达到实时性。（2）在公安网建Dataguard方式，需要通过编程的方式对dataguard的工作机制进行修改，人工传输图像网数据库的归档日志和联机日志到公安网的备库，另外dataguard作为oracle库的一种容灾方式，在备库应用日志过程中，数据库不能正常打开，不适合数据共享应用的实际需求；（3）通过goldengate等数据同步复制工具，