在线ddl原理对比分析和实践-acmug.pdf

在线DDL原理、对比分析和实践 Summerxwu 2017.03 个人简介 • summerxwu(吴夏) • 腾讯 / TEG / 计费平台部 • tdsql内核开发 ，主要负责binlog解释与复制 ，在线ddl模块的开发。 目录 1. 在线DDL概述 2. Mysql5.7 online DDL概述 3. PT-ONLINE-SCHEMA-CHANGE原理分析 4. GH-OST原理分析 5. TDSQL目前采用的方案 在线DDL概述 • 要求 ：在不中断数据库服务的情况下进行DDL操作 • 现有的方案 ： • 使用原生mysql在线DDL • 在从库上修改表结构 ，主从切换 • 第三方工具 MYSQL 5.7 online ddl • Mysql 5.5之前的版本 ddl的实现方式 •存在的问题 •copydata的过程需要耗费额外的存 储空间 ，并且执行过程耗时较长。 •copydata的过程有写锁 ，无法持续 的对外进行服务。 MYSQL 5.7 online ddl • MYSQL 5.5 • FAST INDEX CREATE(FIC) • IN-PLACE方式 ，但依旧阻塞INSERT UPDATE DELETE操作 • MYSQL 5.6 • 支持更多的ALTER TABLE类型避免copydata操作。 • 支持在DDL的过程中不阻塞DML操作 ，即实现ONLINE特性。 • MYSQL 5.7 • 增加了ALTER TABLE RENAME INDEX的语法支持 ，同时支持ONLINE DDL特性。 • 增加VARCHAR列的长度操作支持online特性。 MYSQL 5.7 online ddl ALTER TABLE testdb.testtable ADD COLUMN _new_column ALGORITHM = inplace,LOCK = default; ALGORITHM子句用来指定执行DDL所采用的方式 ，取值为{DEFAULT|INPLACE|COPY} •ALGORITHM = COPY •ALGORITHM = INPLACE •ALGORITHM = DEFAULT LOCK子句描述持有的锁的类型来控制DML的并发 ，取值{DEFAULT|NONE|SHARED|EXCLUSIVE} •LOCK = EXCLUSIVE •LOCK = SHARED •LOCK = NONE •LOCK = DEFAULT MYSQL 5.7 online ddl MYSQL 5.7 online ddl—实现原理 MYSQL 5.7 online ddl—使用限制与问题 •仍然存在排它锁 ，有锁等待的风险。 •增量 日志大小是有限制的 (innodb_online_alter_log_max_size ) •有可能造成较大的主备延迟。 •无法暂停 PT-OLINE-SCHEMA-CHANGE • Percona-toolkit • 特点与优势 • 支持并发DML操作 • 经过多年生产环境验证 ，较为可靠 PT-OSC原理分析 PT-OSC原理分析—如何处理外键 假设t1是要修改的表 ，t2有外键依赖于t1 ，_t1_new是alter t1产生的新临时表。 --alter-foreign-keys-method •rebuild_constraints •优先采用这种方式 •先通过 alter table t2 drop fk1,add _fk1 重建外键参考 ，指向新表 •再 rename t1 t1