MySQL异步复制实现探讨.docxVIP

MySQL异步复制实现探讨 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的 数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更 新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服 务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。 1.1 mysql支持的复制类型： （１）：基于语句的复制： 在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。 一旦发现没法精确复制时， 会自动选着基于行的复制。 （２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持 （３）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。 1.2 . 复制解决的问题 MySQL复制技术有以下一些特点： (1) 数据分布 (Data distribution ) (2) 负载平衡(load balancing) (3) 备份(Backups) (4) 高可用性和容错High availability and failover 1.3 复制如何工作 整体上来说，复制有3个步骤： (1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； (2) slave将master的binary log events拷贝到它的中继日志(relay log)； (3) slave重做中继日志中的事件，将改变反映它自己的数据。 下图描述了复制的过程： 该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。 下一步就是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。 SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数 据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。 此外，在master中也有一个工作线程：和其它MySQL的连 接一样，slave在master中打开一个连接也会使得master开始一个线程。复制过程有一个很重要的限制——复制在slave上是串行化的，也就 是说master上的并行更新操作不能在slave上并行操作。 1.4主从基本流程 1.5主从同步延迟原因 1.6 MySQL主从同步解决方案 1.6.1解决方案： 从库变成多线程更新 直接多线程存在的问题： 语句顺序无法保证－－insert和 update调换有什么问题？ 1.6.2解决方案分析： 1、一定要多线程！为什么？ 2、多线程又会打乱顺?? 3、总是有些没那么严格的，是吧？ 4、同一个表的更新必须按照顺序 5、不同表呢？ 6、先作个不同表之间并行的，线上一个库都有很多表 初步分析，我们得到如下结构图： 方案看上去解决了上述问题，但是需要设计修改MYsql源码，倒是多线程是ok的，就是Master和Slave都不能动 1.6.3参考MySQL多线程同步工具(Transfer)的设计思路 MySQL的主从同步延迟，是指从库的更新性能低于主库的更新性能。 一种方案是将从库的单线程apply改成多线程，但需要修改slave的代码。 安全起见，以工具的形式提供多线程同步功能。 Transfer也是一个MySQL，DBA一般部署在slave同一个机器上 Transfer设置为Mas