Donkey自助系统讲义.pptx

Donkey自助系统 背景 01 Inception介绍 02 审核执行SQL 03 回滚语句 04 CONTENT 1 背景 PART ONE 数据订正 任务来源多 背景 表结构不规范 人工校验 大量订正数据需求，时间碎片化，重复执行 主键不是int,bigint，没注释，字符集。。 QQ，邮件，如何审核 SQL太多，DBA眼睛看花，找不到语法错误 2 Inception介绍 PART TWO Inception功能 01.MySQL client MySQL原生client封装，完美兼容MySQL语法 03.执行 DML执行，DDL执行 02.审核 更新数量限制，语义检查，DDL语句检查等 04.回滚 同步生成回滚语句 Inception架构 Inception使用方法 Username,password IP,port Check,execute inception_magic_start; inception_magic_commit; Inception使用方法 执行结果 执行结果 执行结果 字段 意义 值 ID SQL序号 1，2 stage 操作 CHECKED，EXECUTED errlevel 返回值 0 success，1 warning，2 failed errormessg 错误信息 #1 Execute(Warning, Code errno):warning messag SQL Sql语句 DML,DDL affected_rows 影响行数 10 sequence 备份功能有关 $$Inception_backup_information$$.opid_time:1508218614_715724_5 backup_db 备份库名 vcorder_m1_db_pajkdc_com_3308_vcorder SQLSHA1 HASH值 *3AD2B4995892A6C7C8DCEF9E4FC3DFA184D71482 3 审核执行SQL PART THREE DML语句校验规则 1.表是否存在 2.列列表和值列表个数相同 3.列是否存在 4.同一个列不能出现多次 INSERT 1.表是否存在 2.必须有where条件 3.不能有order by 4.执行计划行数不能超过10W 5.不能有limit UPDATE 1.表是否存在 2.必须有where条件 3.不能有limit 4.执行计划行数不能超过10W DELETE 1 2 3 DML校验执行 DDL校验规则 表 索引 列 默认值 01.表 1.InnoDB引擎 2.字符集(utf8,utf8mb4) 3.注释 4.自增列为ID 5.auto_increment=1 03.索引 1.索引名字idx_或者uniq 2.索引列不超过5个 3.必须有主键 4.索引长度不超过766 02.列 1.不能设置列字符集 2.不能使用集合，枚举，位图类型 3. char超过16要设置为varchar 4.自增列无符号类型 04.默认值 1.BLOB/TEXT不能not null 2.自增列不能设默认值 DDL自动化发布 DDL filter 库，表，qps,roma信息收集，api判断 判断执行方式 SQL or inception Lock Monitor 监控Meta Data Lock DBA少参与 Mapper review 执行方式(online ddl ? Inception?) 开放线上执行权限 线上无故障 不影响业务读写数据 Roma延迟低 产生锁及时回滚 DDL Filter Roma监听 Roma最大6000 TPS，考虑Roma延迟. QPS 1000，3000 Table Size 100MB，1G，5G，100G 自定义项 敏感库，敏感表 检查项 DDL Filter roma qps table size 执行类型 0 1000 5G 开发可执行 0 1000 5-50G DBA执行 0 1000 50G 凌晨执行 0 1000-3000 5G DBA执行 0 1000-3000 5G 凌晨执行 0 3000 1G DBA执行 0 3000 1G 凌晨执行 1   5G 凌晨执行 1   1-5G DBA执行 1 3000   DBA执行 1 1000 1GB 开发可执行             100MB 开发可执行     100G 不可执行     敏感库 DBA执行 DDL 执行方式 原来执行方式 DDL 执行方式 Meta Data Lock Monitor DDL校验执行 4 回滚语句 PART FOUR Inception备份功能 inception_remote_backup_host inception_rem