数据同步和接口方案.docxVIP

数据同步和接口方案 修订记录 版本编号 *变化状态 变更内容 变更日期 变更人 批准日期 批准人 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 *变化状态：A——增加，M——修改，D——删除 目录 TOC \o 1-3 \h \z \u 概述 2 数据同步 2 方案特点 2 实现原理介绍 2 硬件网络环境 3 软件环境 3 发布的具体步骤 3 订阅的具体步骤 7 订阅的授权和控制 10 计量模式 11 数据接口 11 功能设计 12 接口部署 12 计量模式 12  概述 本设计方案，主要通过“数据同步”和“数据接口”两种方式，来为各个项目和产品的提供数据支持。 方案的优点主要概括为： 数据同步效率高，准确性和及时性有保证。 数据需求方，拥有一定的可定制性和可选择性。 数据提供方，拥有授权控制，安全性较高，并且有特定的计量方式。 对数据提供方的数据库服务器压力较小。 数据同步 实现原理介绍 本次新的数据同步方案，在技术上，主要是使用SQL自带的“复制的发布与订阅”功能。从原理上介绍来说，就是在数据提供方建立一个数据源的发布，随后在数据需求方建立对此发布的订阅，以此在两者间建立连接。两者之间是不间断及时响应的，如果发布方数据发生更新，订阅方会在很短的延迟时间内获知更新的内容，并作出同样的修改，以此保持与发布方数据源的完全一致。 从数据同步的原理上可以看出，发布方每发生一次数据变动，订阅方都会及时获知，并作出同样的变动。这样就解决了数据同步及时性的问题。而且，只有发布方发生变动的数据对象，才会同步到订阅方，没有发生变动的数据，是不会进行同步的。这些特点，相对于以往的同步方式而言，无疑既大大减少了资源的无意义耗费，也减轻了数据源服务器在集中进行同步时的性能压力。 硬件网络环境 发布方和订阅方的服务器，都必须是公司内部的，暂不允许外网的服务器进行访问。但如遇特殊情况，外网服务器需要同步数据时，只能由项目负责人自行提供一台前置服务器，以此前置服务器在公司内网中进行订阅同步。之后数据再向外网服务器进行传递的过程，由各项目组自行解决。 软件环境 以公司服务器为例，发布方是SQL SERVER数据库，但是可以分别面向SQL SERVER和Oracle两种数据库环境进行发布。也就是说，订阅方可以支持当前较流行的数据库环境，通用性较好。下面将以面向SQL SERVER发布为例，继续进行介绍。发布方和订阅方的SQL Server Agent代理服务，必须是自动启动状态。 发布的具体步骤 复制-本地发布-右键-新建发布，进入发布向导： 选择要发布的数据库名称： 选择发布类型，使用“事务性发布”： 选择要发布的数据表名。这里要注意，只有表中有主键列的，才可以发布，因为要保持数据同步一致性，必须依靠主键列。这是一个必要前提，所以对于需要发布，而当前没有设置主键列的表，后续还要进行修改。 紧接着还可以对表中的发布数据进行筛选条件的设置。例如，设置只发布审核状态为1的数据： 设定立刻运行快照代理，以初始化订阅。 设置快照代理安全性，分别设置正确的windows管理员账户和SQL Server管理员账户。 输入发布的名称，完成向导。 之后在本地发布列表中可以查看或设置发布。也可以根据需要，进行多个发布，细分发布对象，优化订阅的方便性，减少冗余。 订阅的具体步骤 复制-本地订阅-右键-新建订阅，进入订阅向导： 选择发布服务器（需要通过发布服务器的用户验证），选择具体的发布对象： 选择分发代理的位置，这里我们选择“请求订阅”，以减轻发布服务器的压力： 选择要订阅的服务器和数据库： 设置安全性： 选择同步计划，默认项“连续运行”： 继续下一步，直到完成向导，订阅设置完成。 订阅的授权和控制 SQL用户授权控制 首先，为每个订阅客户建立各自的账号，这些账号对发布数据库只有只读权限。 然后，对不同的发布内容，在“右键-属性-发布访问列表”添加允许访问的用户。 这样，当不同的订阅方用各自的账户进行订阅时，就只能看见被授权访问的发布。 FTP授权控制 右键-属性-FTP快照，勾选允许通过FTP访问快照文件。随后还要在发布服务器端部署一个专用的FTP站点，用来提供对快照文件的访问。这样做有2个目的：一是方便外网的订阅，因为他们不能通过简单的局域网文件共享来访问快照文件；二是，可以通过设置FTP用户验证和访问IP地址限制，来控制订阅权限。 计量模式 在这种同步模式下，不适宜统计具体同步的发生次数或者数据条数，因此建议采用起始时间段订阅的