赶集网SQL自动上线-董泽润_IT168文库.pdfVIP

自动化运维-SQL自动上线 董泽润@赶集网 主要内容 ?DBA的职责 ?我们的痛点 ?我们的实践 ?改进及畅想 DBA的职责-工匠 ? 提升数据库单机性能 -软硬件优化 ? 优化架构，应对海量数据 -分库分表中间件 -服务化，各模块解耦 ? 自动化运维，提高工作效率，减少重复工作 ? 高可用，做到N个9 DBA的职责-审核人员 ? 数据库上线 DDL 变更 ? 日常 SQL 上线 ? 慢查询监控及优化 ? 业务监控及拆分 我们的痛点-标准如何落地 DDL标准 DBA：不符合DBA：恶心， DBA：……. - -! 标准，打回下不为例 RD：紧急上RD：非常紧 RD：欧巴～～ 线，急！！！！ 修复bug 我们的痛点-业务快速迭代 赶集二 赶集好? 招聘节 手车 本地?活 易洗车 放心房 我们的痛点-人员变动频繁 这是最好的时代 我们的痛点 人是最不稳定的因素 我们的实践 ? 引入项目管理工具 JIRA 我们的实践-JIRA 我们的实践-JIRA 我们的实践-JIRA ?优点 -强大的任务管理与跟踪系统 -无限制的工作流 ?缺点 -过于重量级 -相比较严格上线，任务描述过于模糊 -DBA 要改写不符合规范的上线 我们的实践 ? 引入半自动上线系统 我们的实践-半自动 RD发起上线 SIM预执行 仍然不够理想 No Yes 成功 提交DBA No Yes 符合 DBA确认 规范 我们的实践-半自动 ?优点 -避免了 JIRA 模糊不清的表述 -SIM环???预执行，清楚的看到影响行数 -程序执行，避免潜在的人为误操作 ?But -还是需要 DBA 人肉审核 -对于违规 SQL, 开发改写意愿不强 -标准得不到执行，科普成本高 我们的实践 ? 针对业务特点，开发全自动上线系统 我们的实践-AutoSQL ? Python 开发 -Celery -MySQL -Redis -Yacc Lex -Tornado 我们的实践-过滤基本原则 ?对于 DML上线, where clause 必须包含主 键，唯一索引或业务区分度高的字段 ?不允许做减法，drop 字段，库，表或索引操 作提交 DBA 手工执行 ?有限度的自由，建库操作必须 leader 审核， 提交 DBA 手工执行 ?严格遵守调度规则，禁止提前上线 我们的实践-AutoSQL RD发起上线 Online执行 SQL入库 延迟调度 语法解析