donkey自助系统.pptx

Donkey自助系统TNT2017-11-2901背景02Inception介绍CONTENT03审核执行SQL04回滚语句PART ONE背景1背景数据订正表结构不规范任务来源多人工校验大量订正数据需求，时间碎片化，重复执行主键不是int,bigint，没注释，字符集。。QQ，邮件，如何审核SQL太多，DBA眼睛看花，找不到语法错误PART TWOInception介绍2Inception功能01.MySQL client02.审核MySQL原生client封装，完美兼容MySQL语法更新数量限制，语义检查，DDL语句检查等03.执行04.回滚DML执行，DDL执行同步生成回滚语句Inception架构Inception使用方法Username,passwordIP,portCheck,executeinception_magic_start; inception_magic_commit;Inception使用方法执行结果执行结果执行结果字段意义值IDSQL序号1，2stage操作CHECKED，EXECUTEDerrlevel返回值0 success，1 warning，2 failederrormessg错误信息#1 Execute(Warning, Code errno):warning messagSQLSql语句DML,DDLaffected_rows影响行数10sequence备份功能有关$$Inception_backup_information$$.opid_time:1508218614_715724_5backup_db备份库名vcorder_m1_db_pajkdc_com_3308_vcorderSQLSHA1HASH值*3AD2B4995892A6C7C8DCEF9E4FC3DFA184D71482PART THREE审核执行SQL3DML语句校验规则123INSERTUPDATEDELETE1.表是否存在2.列列表和值列表个数相同3.列是否存在4.同一个列不能出现多次1.表是否存在2.必须有where条件3.不能有order by4.执行计划行数不能超过10W5.不能有limit1.表是否存在2.必须有where条件3.不能有limit4.执行计划行数不能超过10WDML校验执行DDL校验规则01.表02.列1.InnoDB引擎2.字符集(utf8,utf8mb4)3.注释4.自增列为ID5.auto_increment=11.不能设置列字符集2.不能使用集合，枚举，位图类型3. char超过16要设置为varchar4.自增列无符号类型表列索引默认值03.索引04.默认值1.索引名字idx_或者uniq2.索引列不超过5个3.必须有主键4.索引长度不超过7661.BLOB/TEXT不能not null2.自增列不能设默认值DDL自动化发布DBA少参与Mapper review执行方式(online ddl ? Inception?)开放线上执行权限线上无故障DDL filter判断执行方式Lock Monitor不影响业务读写数据Roma延迟低产生锁及时回滚库，表，qps,roma信息收集，api判断SQL or inception监控Meta Data LockDDL Filter Roma监听Table SizeRoma最大6000 TPS，考虑Roma延迟.100MB，1G，5G，100G检查项敏感库，敏感表1000，3000QPS自定义项DDL Filterromaqpstable size执行类型010005G开发可执行010005-50GDBA执行0100050G凌晨执行01000-30005GDBA执行01000-30005G凌晨执行030001GDBA执行030001G凌晨执行1?5G凌晨执行1?1-5GDBA执行13000?DBA执行110001GB开发可执行??????100MB开发可执行??100G不可执行??敏感库DBA执行DDL 执行方式原来执行方式DDL 执行方式Meta Data Lock MonitorDDL校验执行PART FOUR回滚语句4Inception备份功能inception_remote_backup_host inception_remote_backup_port inception_remote_system_user inception_remote_system_password Inception备份功能THANKS FOR YOUR WATCHING