基于Binlog的日志备份和迁移方案.pptx

基于Binlog的日志备份和迁移方案 介绍 1 2016-09-13 王峰 wangfeng2@ 驱动 我们有很多数据迁移或备份的场景。如： 记录业务日志：通常日志会放在数据库中，以方便查询分析业务或发生的异常；但是这种数据量会很大，不几天数据库就会报磁盘不足，增加磁盘还是扔掉过期的数据？ 同步数据到外围系统：我们的系统是核心系统，核心数据都在我们系统内；但是需要和社会中其他系统互连，如警察系统、第三放结算系统；这些系统都需要我们的数据，越及时越好。 环境数据同步：我们有很多套环境，为降低影响，我们先对一个Master库做数据变更验证，验证完了再同步到其他环境。我们怎么把刚变更的数据从Master库的错中复杂表中捞取出来？ 概要 基于阿里的Canal框架模拟数据库的Cluster端，实现Binlog的数据输出，再集合Log4j，SSH Client等功能模块一起集成到Octopus配置运行平台，就构成了BinLog日志备份迁移应用。主要的作用是把数据库中实时变更的数据采取出来，经过处理，传送到其他地方。 性能：通过数据库的Binlog获取数据是真实高效的，Binlog的操作和业务数据操作是异步的，不影响业务数据在数据库中的操作性能。数据只有提交到数据库才会触发Binlog，Binlog的数据是真实的。 实时性：Binlog事件是实时的。采取到Binlog数据后，