SymmetricDS数据同步工具安装使用说明书.docxVIP

SymmetricDS数据同步工具 安装使用说明书  背景 随着大数据产品功能的丰富，以及用户对于大数据的时效性的需求，需要一款能够实现跨数据库，以及同一种数据库跨版本的数据同步工具，同时要能够支撑数据库到Kafka的数据推送。 目前大数据技术组研发了一款yhbi的同步工具，支持从oracle到oracle的同步，以及oracle到Kafka的同步，但是受限于不能支持oracle 12c版本数据的同步。 OGG也可以实现oracle到oracle，以及oracle到其他目标端数据库或者消息队列的同步，但OGG的费用、维护成本较高。 故采用了一款名为SymmetricDS的开源数据库同步工具。 简介 SymmetricDS就像其名称一样，是为了实现数据源的“对称性“，也就是数据同步。 SymmetricDS是用于数据库和文件同步的开源软件，支持多主复制、过滤同步和转换。它使用web（HTTP传输）和数据库技术（触发器）将更改数据复制为预定的或接近实时的操作，并且它还包含了完整数据负载的初始负载特性。该软件的设计目的是针对大量节点，跨低带宽连接工作，并经得起网络中断。 概述 SymmetricDS的同步原理如下图所示。 节点负责使用HTTP将来自数据库或文件系统的数据与网络中的其他节点进行同步。节点被分配给作为一个单元配置在一起的节点组之一。节点组与组链接链接在一起，以定义推或拉通信。pull使一个节点与其他节点连接并请求正在等待的更改，而push使一个节点在需要发送更改时与其他节点连接。 每个节点都通过使用连接URL、用户名和密码的Java数据库连接(JDBC)驱动程序连接到数据库。虽然节点可以跨广泛的区域网络进行分隔，但是为了获得最佳性能，节点所连接的数据库应该位于局域网络附近。节点使用其数据库连接创建表作为配置设置和运行时操作的数据模型。用户填充配置表以定义同步，运行时表捕获更改并跟踪活动。要同步的表可以位于连接可访问的任何目录和模式中，而要同步的文件可以位于本地服务器可访问的任何目录中。 在启动时，SymmetricDS查找节点属性文件，并为找到的每个文件启动一个节点，这允许多个节点在同一个实例中运行并共享资源。节点的属性文件包含其外部ID、节点组、注册服务器URL和数据库连接信息。外部ID是用于从其他节点识别它的节点的名称。一个节点被配置为存储主配置的注册服务器。当第一次启动节点时，它使用发送外部ID和节点组的注册进程与注册服务器联系。作为响应，节点接收其配置和节点密码，这些密码必须在与其他节点同步时作为身份验证发送。 架构 节点中的每个子系统负责部分数据移动，并通过配置进行控制。数据流经系统的步骤如下: 捕获到源数据库的运行时表中 发送到目标节点和成批组的路由 提取并转换为输出批处理所需的行、列和值 将发出的批处理发送到目标节点 在目标节点接收到的批处理 转换为进入批处理所需的行、列和值 加载数据并向源节点返回确认信息 架构图如下图所示： 特点 SymmetricDS提供了丰富的特性集，具有灵活的配置，可用于在具有多个系统的混合环境中进行大规模部署。 数据同步 更改关系数据库的数据捕获和文件系统的文件同步可以是周期性的，也可以是接近实时的，有一个初始负载特性可以完全填充节点。 集中管理 从一个可以调查和解决冲突和错误的集中位置配置、监视和故障排除同步。 自动恢复 数据传送是持久的和低维护，承受停机时间和自动从网络故障恢复。 安全和高效 通信使用为低带宽网络设计的数据协议，并通过HTTPS传输加密传输。 转换 在多个点上操作数据，以过滤、子集、转换、合并和丰富数据。 冲突管理 通过配置自动和手动解决的规则来加强双向同步的一致性。 可扩展 可以配置脚本和Java代码来处理事件、转换数据和创建自定义行为。 部署选项 软件可以作为独立的自包含服务器安装，部署到web应用服务器，或者嵌入到应用程序中。 安装 SymmetricDS官方提供了3种安装方法。 独立安装 SymmetricDS安装和运行作为一个独立的进程使用内置Jetty web服务器。这是安装实例最简单也是最推荐的方法。 Web Archive (WAR) 将SymmetricDS Web Archive (WAR)文件部署到单独安装、维护和运行的现有Web应用程序容器中。 嵌入式 SymmetricDS嵌入在现有的应用程序中。在这个选项中，编写了一个定制的包装程序，它调用SymmetricDS API来同步数据。 在本文档中，只对前两种方法做介绍，并且是在同一台服务器上部署corp节点（主）和store节点（从），实现一主一从的数据同步。 安装前准备 下载 下载地址： HYPERLINK 下载后的文件是一个zip压缩文件。 上传 把文件上传到服务器。 独立安