基于Binlog的日志备份和迁移方案详解.pptxVIP

基于Binlog的日志备份和迁移方案 介绍 1 2016-09-13 王峰 wangfeng2@ 驱动 我们有很多数据迁移或备份的场景。如： 记录业务日志：通常日志会放在数据库中，以方便查询分析业务或发生的异常；但是这种数据量会很大，不几天数据库就会报磁盘不足，增加磁盘还是扔掉过期的数据？ 同步数据到外围系统：我们的系统是核心系统，核心数据都在我们系统内；但是需要和社会中其他系统互连，如警察系统、第三放结算系统；这些系统都需要我们的数据，越及时越好。 环境数据同步：我们有很多套环境，为降低影响，我们先对一个Master库做数据变更验证，验证完了再同步到其他环境。我们怎么把刚变更的数据从Master库的错中复杂表中捞取出来？ 概要 基于阿里的Canal框架模拟数据库的Cluster端，实现Binlog的数据输出，再集合Log4j，SSH Client等功能模块一起集成到Octopus配置运行平台，就构成了BinLog日志备份迁移应用。主要的作用是把数据库中实时变更的数据采取出来，经过处理，传送到其他地方。 性能：通过数据库的Binlog获取数据是真实高效的，Binlog的操作和业务数据操作是异步的，不影响业务数据在数据库中的操作性能。数据只有提交到数据库才会触发Binlog，Binlog的数据是真实的。 实时性：Binlog事件是实时的。采取到Binlog数据后，不做任何业务逻辑，只做尽量少的格式转换，然后放入本地磁盘；整个过程是实时、高效的。后序业务逻辑再对文本进行操作。 完整性：从Binlog获取数据的起始点有三种方式 1. 从启动时间点开始获取数据库中变化的数据。 2. 指定某个时间点，从这个时间点获取数据。 3. 系统启动后会实时记录操作的position，当系统停止、中断后，重启时会从上一个position继续获取Binlog数据。 技术架构及逻辑 Java/J2ee XML-CRS Canal Log4j SSH Client 软体存储中心 f Veris BinLog OCTOPUS Bin Log Handle Data Format File Log Current Folder History Folder Delete Folder Quartiz Other Task Zip and Delete Task 使用说明 1. 数据文件存储配置： code=“TEST_A” ：配置记录到文件的数据库表名称，需要大些。 runningPath=“” ：配置数据记录的操作目录，即Current Folder。 hisPath=“” ：配置文件按时间分割后迁移的目录。 filename=“” ：配置文件名称。 suffer=“” ： 配置文件后缀名称。 pattern=“” ：配置文件时间结尾格式，并按格式最小时间单位分文件。 remainTime=“” ：保留在Current Folder中的文件时间。 splitTime=“” ：配置按最小时间点几倍的时间分割文件。 2. 数据库配置： canal.instance.master.address：配置数据库地址。 canal.instance.dbUsername ：配置数据库用户名称。 canal.instance.dbPassword ：配置数据库密码。 canal.instance.defaultDatabaseName ：配置数据库用户。 canal.instance.filter.regex ： 配置采取Binlog的表名称，多个用”,”分割；分表可以用TEST_A_[01-12]等数字枚举模式。 使用说明 3. BinLog采集配置： config=“{return:‘SQL’}”：配置BinLog数据返回的格式，SQL为返回insert、delete、update语句，没有config配置默认返回Map。 canal.ip ：配置数据库实例的Slaver实例地址，一个实例中运行时配置(这里可以分主机集群部署)。 canal.port ：配置Slaver的端口。 ：配置Slaver的名称。 canal.instance.filter.regex ：配置接收的Binlog数据表名称。 4. Linux中启动样例： #!/bin/sh cp=classes for f in lib/*.jar do cp=$cp:$f done CLASSPATH=${cp} echo ${cp}“ JAVA_OPTIONS=-XX:+HeapDumpOnOutOfMemoryError -Dfile.e