美团数据库运维平台介绍.pptxVIP

美团数据库运维平台介绍 美团数据库运维平台介绍 第1页 纲领 • • • • • 自动化运维平台 慢查询系统 备份系统 运维报表 Percona使用经验 美团数据库运维平台介绍 第2页 自助DDL 授权申请 慢查询系统 RD DB Weekly Report 废弃表废弃索引冗余索引 容量管理 历史Processlist查询 历史Innodb Status查询 元信息 DBManager 工具 自动化运维平台 报表 DBA Weekly Report CPU IO 慢查询 监控 美团数据库运维平台介绍 第3页 美团数据库运维平台介绍 第4页 自助DDL 美团数据库运维平台介绍 第5页 检 查 备 份 Drop O S C Size Create 类 型 AlterDrop Drop Alter Delay 执 行 美团数据库运维平台介绍 第6页 New Data Old Data New Table pt-online-schema-change 触发器 Insert ignore into newtable select from oldtable where pk between () lock in share mode 主从表结构异构,会造成Slave表结构被覆盖 添加唯一索引,假如存在重复数据会丢失 美团数据库运维平台介绍 第7页 DBManager 美团数据库运维平台介绍 第8页 慢查询 美团数据库运维平台介绍 第9页 慢查询 • pt-query-digest • Box Anemometer 美团数据库运维平台介绍 第10页 MySQL Slow Log Pt-query-digest MySQL Anemometer MySQL Slow Log Pt-query-digest MySQL Slow Log Pt-query-digest 美团数据库运维平台介绍 第11页 美团数据库运维平台介绍 第12页 备份系统 • Xtrabackup • 自动扩容 美团数据库运维平台介绍 第13页 慢查询系统 容量管理 历史Processlist查询 历史Innodb Status查询 元信息 DBManager 工具 自助DDL 授权申请 统计分析报表 报表 DBA Weekly Report CPU IO 慢查询 监控 RD DB Weekly Report 废弃表废弃索引冗余索引 美团数据库运维平台介绍 第14页 • • • • • • DBA Weekly Report 慢查询TOP10 磁盘消耗速度TOP10 Innodb_pages_read TOP10 Innodb_row_lock_time TOP10 监控被disable主机 自增ID溢出检测 美团数据库运维平台介绍 第15页 美团数据库运维平台介绍 第16页 DB Weekly Report • 包含内容 – 连续一周不在访问表 – 连续一周不在使用索引 – 冗余索引 • 实现方式 – percona user stat – pt-duplicate-key-checker 美团数据库运维平台介绍 第17页 美团数据库运维平台介绍 第18页 • 历史processlist查询 • 历史show engine innodb status查询 美团数据库运维平台介绍 第19页 容量管理 团购/外卖/猫眼/酒店 美团数据库运维平台介绍 第20页 • • • • 容量管理 Benchmark Tcpcopy 挖掘历史数据估算节假日峰值 监控数据:max(avg(15m)) 美团数据库运维平台介绍 第21页 Percona使用经验 • Percona Server – – – – – User Statistics Response Time Distrub Thread pool innodb_deadlocks max_binlog_files • Percona Toolkit – – – – pt-query-digest pt-kill pt-online-schema-change pt-duplicate-key-checker 美团数据库运维平台介绍 第22页 One More Thing…… 美团数据库运维平台介绍 第23页 Redis Cluster使用经验 美团数据库运维平台介绍 第24页 • cluster-node-timeout 15000 • 添加slave节点 • Flushall操作 美团数据库运维平台介绍 第25页 • 使用redis-trib.rb创建集群 • 添加slave节点 • 小心master和slave分