DM7可靠的读写分离系统操作手册.docVIP

系统概述 在一个高并发的事务型系统中，当写事务占的比例相对读事务相对较小时，可以借助DM7的主备系统备机可读的特点，将读事务转移到备机执行，减少单节点的并发压力，通过增加备机节点资源，提高系统的并发能力，增强系统性能。 DM7提供一种独具创新的主备方案，读写分离主备系统，该系统可通过客户端来实现读写事务的自动分离，读事务在备机执行，写事务在主机执行，减轻主机的负载。备机可以配置多个，理论上说，在允许的范围内，备机配置的越多，更能分担主机的压力，系统整体并发效率越高。 目前该系统的限制： 目前只支持JDBC客户端 限制最多支持8个即时备机 即时归档 DM7支持多种归档类型，本地归档、实时归档、同步归档、异步归档等类型。为了实现读写分离，新增一种即时归档（Timely archive）类型，以区别实时归档。 实时归档是实时发送日志到备机，备机收到日志不会等待日志APPLY完成，立即响应给主机，主机收到响应后才刷本地日志。 即时归档的归档方式是先刷本地日志，然后发送到备机，并且等待备机APPLY完成，之所以要这么做，原因有2个: 首先，在主机发送完日志到备机后刷日志前主机崩溃的情况下，不能让备机多一段日志，确保主机数据是完整且最新的。 其次，需要保证主备机的数据一致性，避免从备机读的数据到主机进行更新时数据已经不一致了。 在某些不需要保证严格一致性的情况下，可以通过dmarch.ini中的ARCH_WAIT_APPLY配置项，来配置不需要等待备机重做完日志的主备系统，类似于实时归档，可以进一步提高系统性能。 系统架构 dmrwwdmrwwdmrwwdmrwwPRIMARYSTANDBYSTANDBYSTANDBYCLIENTCLIENTCLIENT dmrww dmrww dmrww dmrww PRIMARY STANDBY STANDBY STANDBY CLIENT CLIENT CLIENT dmrwm dmrwm CLIENT CLIENT 如上图： 系统架构中包含一个主机实例，多个备机实例，带双向箭头的为内网传输线路，带标注线的为外网应用传输线路。 读写分离流程 用户登录后，客户端首先连接到主机，主机根据即时归档的配置，获取一个有效的备机信息，并返回给客户端。 客户端根据主机返回的备机IP和端口，建立与该备机的连接 客户端执行语句时先在备机上执行，如果是只读事务，则只在备机上执行 如果报试图在备机模式下修改数据等错误，则说明该事务是写事务，继续转移到主机上执行 一旦主机上执行的写事务提交，则下次继续从备机开始执行 为了实现负载均衡，防止出现读事务过多占用备机资源、主机空闲的情况，客户端采用一定的算法进行均衡，主机上也会执行一部分读事务 归档失败处理 如果主机发送归档失败，需要进行如下处理： 设置对应备机的即时归档失效 主机上强制断开所有连接了该备机对应的在主机上的会话，客户端检测到主机断开后，也会强制断开备机的连接，防止数据读写的不一致 客户端检测到会话上的主备机任何一个连接断开，都会断开另外一个连接，重连时先连接主机，由主机返回其可连接的备机 dmrww作用 使用UDP协议和服务器实例及dmrwm工具通信，主机dmrww可以接收所有备机dmrww的广播消息。 dmrww可以配置为自动或非自动守护模式，这两种模式下都会自动open所守护的实例，在自动模式下，主机rww可以自动恢复故障备机，故障主机的恢复需要在dmrwm端通过recover命令手动执行。 接收实例消息，判断满足open条件则自动open实例 广播实例状态给dmrwm 接收dmrwm消息，并转发给实例 主机dmrww接收并处理备机dmrww的广播消息，自动模式下，备机满足恢复条件的话，会自动恢复故障备机 检测到系统中存在多个primaryopen状态的实例时，强制对这些实例执行shutdown操作。 dmrwm作用 该工具主要用来管理读写分离系统，允许用户通过输入命令的方式来执行主备机的启动、主机切换、备机恢复等操作。 通过命令方式控制系统的启动和退出 提供LOGIN/LOGOUT命令，登录/退出dmrwm 通过命令方式控制dmrww监控功能的打开/关闭 3） 接收dmrww消息，监控主备机状态，出现故障或状态变化时有提示信息 4） 提供切换命令，主备机正常时，可以执行主备机的切换 5） 提供选择命令，主机故障时，可以选出能够接管主机的备机 6） 提供接管命令，主机故障时，可以使用指定的备机接管故障主机 7） 提供恢复命令，主备机故障时，可以执行恢复操作 8） 提供TIP命令，可以检测系统当前运行状况 系统配置 配置文件 读写分离系统涉及到的配置文件有dm.ini、dmmal.ini、dmarch.