大数据培训 MyFlash美团点评开源MySQL闪回工具_光环大数据培训.pdfVIP

光环大数据--大数据培训知名品牌 大数据培训 MyFlash 美团点评的开源MySQL 闪回工具_光环大数据培训 由于运维、DBA 的误操作或是业务 bug，我们在操作中时不时会出现误删除数据情况。 早期要想恢复数据，只能让业务人员根据线上操作日志，构造误删除的数据，或者 DBA 使 用binlog 和备份的方式恢复数据，不管那种，都非常费时费力，而且容易出错。直到彭立勋 首次在MySQL 社区为mysqlbinlog 扩展了闪回功能。 在美团点评，我们也遇到过研发人员误删主站的配置信息，从而导致主站长达2 个小时 不可用的情况。DBA 同学当时使用了技术团队自研的binlog2sql 完成了数据恢复，并多次挽 救了线上误删数据导致的严重故障。不过，binlog2sql 在恢复速度上不尽如人意，因此我们 开发了一个新的工具——MyFlash，它很好地解决了上述痛点，能够方便并且高效地进行数 据恢复。 现在该工具正式开源，开源地址为：/Meituan-Dianping/MyFlash 。 闪回工具现状 先来看下目前市面上已有的恢复工具，我们从实现角度把它们划分成如下几类。 光环大数据 光环大数据--大数据培训知名品牌 mysqlbinlog 工具配合sed、awk 。该方式先将binlog 解析成类SQL 的文本，然后使用sed、 awk 把类SQL 文本转换成真正的SQL 。 优点：当SQL 中字段类型比较简单时，可以快速生成需要的SQL，且编程门槛也比 较低。 缺点：当 SQL 中字段类型比较复杂时，尤其是字段中的文本包含 HTML 代码，用 awk、sed 等工具时，就需要考虑极其复杂的转义等情况，出错概率很大。 给数据库源码打patch。该方式扩展了mysqlbinlog 的功能，增加Flashback 选项。 优点：复用了MySQL Server 层中binlog 解析等代码，一旦稳定之后，无须关心复 杂的字段类型，且效率较高。 缺点：在修改前，需要对 MySQL 的复制代码结构和细节需要较深的了解。版本比 较敏感，在MySQL 5.6 上做的patch，基本不能用于MySQL 5.7 的回滚操作。升级困难，因 为patch 的代码是分布在MySQL 的各个文件和函数中，一旦MySQL 代码改变，特别是复制 层的重构，升级的难度不亚于完全重新写一个。 使用业界提供的解析binlog 的库，然后进行SQL 构造，其优秀代表是binlog2sql。 优点：使用业界成熟的库，因此稳定性较好，且上手难度较低。 缺点：效率往往较低，且实现上受制于binlog 库提供的功能。 光环大数据 光环大数据--大数据培训知名品牌 上述几种实现方式，主要是提供的过滤选项较少，比如不能提供基于SQL 类型的过滤， 需要回滚一个delete 语句，导致在回滚时，需要结合awk、sed 等工具进行筛选。 总结了上述几种工具的优缺点，我认为理想的闪回工具需要有以下特性。 a. 无需把binlog 解析成文本，再进行转换。 b. 提供原生的基于库、表、SQL 类型、位置、时间等多种过滤方式。 c. 支持MySQL 多个版本。 d. 对于数据库的代码重构不敏感，利于升级。 e. 自主掌控binlog 解析，提供尽可能灵活的方式。 在这些特性中，binlog 的解析是一切工作的基础。接下来我会介绍binlog 的基本结构。 binlog 格式初探 binlog 格式概览 一个完整的binlog 文件是由一个format description event 开头，一个rotate event 结尾， 中间由多个其他event 组合而成。