MySQL并发复制探秘案例.pptx

杭州沃趣网络科技有限公司 Hangzhou WOQU Technology Co., Ltd. MySQL并发复制探秘 01 02 03 复制发展历程 Group Commit 并发复制 目录 复制发展历程 基础复制原理 基于SQL语句的复制（statement-based replication,SBR）：执行逻辑的SQL语句 优点 日志量少 用于审计 缺点 调用不确定UDF（user defined function）复制可能出问题 LOAD_FILE()、UUID()、USER()、RAND()等语句无法复制 INSERT….SELECT所产生的行级锁数量比RBR多 ……. Binary log格式和优缺点 基于行的复制（row-based replication,RBR）：数据的物理变更 优点 所有数据变更都会被复制，最安全的复制格式 多数情况下，从服务器上的表如果有主键的话，复制就会快了很多 复制以下几种语句时的行锁更少： INSERT ... SELECT 包含 AUTO_INCREMENT 字段的 INSERT 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句 执行 INSERT，UPDATE，DELETE 语句时锁更少 缺点 日志量大，影响从库日志的复制时间 主服务器上执行 UPDATE 语句时，所有发生变化的记录都会写到 binlog 中，而 SBR 只会写一次，这会导致频繁发生 binlog 的并发写问题 复杂的回滚时 binlog 中会包含大量的数据 Binary log格式和优缺点 Binlog和InnoDB协同 标准2阶段提交 MySQL 2阶段提交 01 02 03 复制发展历程 Group Commit 并发复制 目录 InnoDB Group Commit T0 insert T1 update T2 update T3 delete T1 commit T2，T3 commit wait T3 delete T3 delete T1 update free Redo Log buffer T0 insert T3 delete T3 delete T1 fsync() Redo Log File free InnoDB Group Commit 提交顺序不一致 prepare_commit_mutex 双一配置保证一致性 主库参数优化： Innodb_flush_log_at_trx_commit=1 Innodb_support_xa=1 多线程并发执行提交事务，按照事务的先后顺序写入binlog。 sync-binlog=1 开启binary log的MySQL实例 Group Commit 5.5- vs 5.6 vs 5.7 3阶段队列 01 02 03 复制发展历程 Group Commit 并发复制 目录 Parallel Replication 5.6 Schema级并行 事务组并行 MySQL GTID MariaDB GTID MySQL vs MariaDB # at 1754 #160104 15:16:46 server id 15102 ?end_log_pos 1798 CRC32 0x26104c0b ? ? GTID 0-15102-64143 cid=20 trans #151231 14:34:03 server id 15112 ?end_log_pos 2408 CRC32 0x5586fe71 ? ? Anonymous_GTID ?last_committed=6 ? ? ? ?sequence_number=8 思考 DDL和DML并行 参考资料 InnoDB Group Commit介绍 Group Commit Work Log 《Fixing MySQL group commit》系列(part 1 | part 2 | part 3 | part 4 ) MariaDB并发复制 34 Hangzhou WOQU Technology Co., Ltd. 0571 -微信二维码 微博二维码