《MySQL硬件加速及HA高可用》.pptVIP

MySQL硬件加速及HA高可用 罗春@ 沃趣科技 @沃趣科技 关于沃趣 沃趣科技是由一群来自原阿里巴巴DBA/SA团队的技术男组成的创业团队 MariaDB中国区唯一技术合作伙伴 我们的产品 QGuard：数据库高可用自动切换软件 QData：高性能数据库一体机 我们的服务 数据库性能优化，方案设计，健康检查，数据迁移，系统优化。 我们的使命 凭借我们在大型互联网公司多年的运维经验，致力于为中小网站企业提供最专业的数据库、系统相关的架构设计、产品及服务。 提纲 OS，硬件优化 数据库IO特点分析 文件系统，OS，硬件搭配 Flash技术介绍及应用 MySQL HA方案 自动切换，应用透明，数据补偿 OS，硬件优化 硬件技术发展 主机 CPU处理能力不断提升 PC服务器替代小型机 存储 Flash存储技术出现 Flash替代磁盘存储 网络 高吞吐低延迟Infiniband 用于集群互联和高速存储网络 Flash存储技术 类型： NAND，NOR SLC，MLC 接口类型： SATA，SAS，FC，PCIE 生产厂家： Intel，Fusionio STEC，SandForce HUAWEI 性能数据 Flash： IOPS：随机读10000-60000，随机写5000-60000 Throughput： 连续读200M-600M，连续写200M-600M Latency：30us Disk： IOPS：随机读 160，随机写 160 Throughput ： 连续读170M，连续写130M Latency：6ms Flash存储原理 Flash需要擦除： 允许直接写入，不允许更新 更新 = 读取 + 写入 + 擦除 擦除代价大，延时2ms 写入单位与擦除单位单位不一致 擦除次数有次数限制 Firmware的功能： FTL：物理逻辑地址映射 Reclamation：回收策略，异步擦除 Wear leveling：均衡写磨损，提升寿命 Reserved space：减小写入放大，提升写性能 数据库IO分析 innodb redobinlog 同步写入底层磁盘，顺序小IO IO响应时间要求2ms 数据文件 数据文件写：异步IO，后台写，随机小IO 数据文件随机读：索引查询，单块读，随机小IO 数据文件顺序读：全表扫描，多块读，连续大IO IO响应时间要求5ms Flash技术的使用 Flashdisk 高IOPS，低容量 避免过多的页擦除和写放大 Flash不适合存放redo Flashcache Writebackwritethrough 加速读性能，适合网站型OLTP 注意内存消耗 数据库IO调整 MySQL参数 innodb_flush_log_at_trx_commit innodb_flush_method innodb_io_capacity 块设备，文件系统 Linux IO策略NOOP,CFQ,DEADLINE /proc/sys/vm/swappiness mount -o noatime,nodiratime,barrier=0 Raid卡缓存控制 BBWC开启 预读缓存，写缓存writeback MySQL高可用HA 数据库为什么需要HA 数据库是系统的关键受力点 业务对于系统的要求 故障切换需要对应用层透明 历史证明，数据库宕机时DBA一般在outing MySQL HA软件方案 Master库故障探测发现 Slave库check延迟 故障资源切换，node fencing 数据补偿，尽量0丢失 集中部署，多套集群环境统一管理 主备切换，元信息维护 详实的切换操作日志 QGuard for MySQL架构 QGuard VS HeartBeat 特性\产品 HeartBeat QGuard for MySQL 数据完整 不能进行数据补偿 切换前尝试抓取主库binlog补偿数据 管理方式 只能管理一套MySQL集群 可管理超过1000套MySQL集群 切换方式 算法复杂，切换不可控，会出现误切换 第三方探测，简单直观，可进行主机电源控制 罗春 @_八神_ 原阿里巴巴数据库专家，Oracle DBA团队技术leader，负责各种数据库技术方案的选型与决策，运维流程规章的制定，系统风险把控。 5年大型电子商务网站数据库的运维与管理经验，经历了公司数据库由小到大，从集中到分布的整个过程。 数据仓库RAC OLAP，网站OLTP，ERP，CRM多个业务场景，均有涉猎。 推动PCIe，Flashcache/SSD技术在数据库领域的应用，提供高性能数据库服务。 熟悉Oracle内部运作机制，能提供现场Oracle数据库性能调优，troubleshooting，故障恢复技术支持。 熟悉主流的EMC，IBM存储