DTCC 2020中国数据库技术大会-赵飞祥-MySQL数据库与PostgreSQL数据库高可用分析与实践.pdf

2020中国数据库技术大会 MySQL与PostgreSQL数据库高可用分析 与实践 2020中国数据库技术大会 airwallex 赵飞祥 个人简介 赵飞祥 网名：yumushui 现任 Airwalelx Senior DBA ，曾就职于太极计算机股份网络有限公司、北京竞技世界网络技术有 2020中国数据库技术大会 限公司、武汉斗鱼网络技术有限公司 Oracle 10g OCP ，11g OCM ，Oracle YEP年轻专家 喜爱技术总结和分享、多次行业会议和沙龙演讲嘉宾、IT Pub博客专家 2010年开始从事数据库相关运维、架构、开发工作，涉足mysql、Oracle、postgresql、 greenplum、MongoDB、redis等数据库，目前主要研究 PostgreSQL数据库 和 DevOps 方向 个人博客： 目录 一、高可用原理 二、 mysql高可用 2020中国数据库技术大会 三、 PostgreSQL高可用 四、Cloud高可用与高可用发展 第一章 高可用原理 2020中国数据库技术大会 高可用定义 系统无中断地执行其功能的能力，代表系统的可用性程度，是进行系统设计的准则之一。 无中断 —— 要通过“冗余”来是实现高可用。 2020中国数据库技术大会 一个服务——单点故障 - 存储高可用（有状态） - 计算高可用 - 业务高可用 数据库高可用三模块 数据同步模块 --高可用基础，实现 “冗余”和 “多副本” 高可用管理模块 2020中国数据库技术大会 --高可用实现，状态判断，故障切换 统一访问模块 --高可用接口，对外应用访问透明 数据库高可用三模块 —— 数据同步模块 数据库功能： -- 事务 ACID -- 日志系统 同步建立： 2020中国数据库技术大会 -- 日志归档 -- 同步用户 -- 建立复制关系 数据一致与可用性权衡： -- 异步复制 -- 半同步复制 -- 同步复制 数据库高可用三模块 —— 高可用管理模块 节点关系（部署架构） -- 集中式 -- 协商式 -- 分布式 2020中国数据库技术大会 状态判断（发现异常） -- 状态检测 -- 状态存储 异常处理（处理异常） -- 故障切换过程 failover -- 故障恢复过程 failback 数据库高可用三模块 —— 统一访问模块 应用与数据库的访问方式：直连数据库，通过中间层访问数据库 直连数据库 -- 业务程序与数据库耦合性高 2020中国数据库技术大会 -- 发生故障切换，业务需调整，必须有手工操作 通过中间层访问数据库 -- 统一入口，对应用透明，故障切换时 endpoint 不发生改变 -- VIP -- DNS -- proxy 典型通用高可用方案 keepalived + haproxy + 服务资源 keepalived -- vrrp 控制vip的漂移 -- watch dog 2020中国数据库技术大会 -- health check haproxy -- 4层/7层代理，健康检查，负载均衡 服务资源 -- 数据库/web服务器/vip等各种资源 -- 编写shell脚本（状态脚本，切换脚本等） -- 高可用软件定义脚本调用逻辑 第二章 mysql高可用实践 2020中国数据库技术大会 mysql 数据同步 日志格式 -- log_bin -- binlog_format=row -- server_id 2020中国数据库技术大会 主从复制原理 -- Master - binlog - IO thread - Relay log - SQL thr