彭立勋MySQL新技术探索与实践.pptVIP

MySQL新技术探索与实践 彭立勋 WWW.PengLiXun.COM Alibaba DBA Team 新技术风起云涌 以Percona/XtraDB为代表的MySQL分支（MariaDB、Drizzle……） 以HandlerSocket为代表的新接口（Memcached Plugin……） 以XFS/EXT4为代表的高性能文件系统（Btrfs、ZFS……） 以Flashcache为代表的二级缓存架构（InnoDB Secondary Buffer Pool……） 以Fusion-IO为代表的PCI-E SSD 以Intel C Compiler为代表的高性能编译器 …… Topics ICC XFS Percona HandlerSocket Why ICC 为何自己编译MySQL？ 官方无静态编译的Innodb Plugin版本 可以加入第三方Patch或修改源码 可以将第三方库静态编译到可执行文件（TCMalloc） 为何使用ICC编译？ 原生Intel SSE2指令集，浮点运算效率高 内置Intel Math Lib，提升数学函数效率 内置Intel Thread Lib，提升多线程稳定性和效率 ICC vs GCC(1) 硬件环境 CPU：Intel Xoen 5410 内存：24G 硬盘：10*15k SAS RAID10 ICC vs GCC(2) 硬件环境 CPU：Intel Xoen 5520 内存：24G 硬盘：10*15k SAS RAID10 MySQL：5.1.40 Enterprise Why XFS 为何不使用EXT3？ 对SSD设备不友好，SSD是未来数据存储设备的趋势 删除文件速度慢，导致数据库Hang 对大文件读写性能不佳 为何选择XFS？ SGI已经在其大型机上应用多年(From 1994)，稳定可靠 对SSD设备友好（延迟分配） 高并发下竞争少，性能好（分配组特性） 支持条带化分配，使得文件系统分配与RAID条带完全对齐，最大化吞吐量 对大文件操作友好（基于Extent的分配方式） Why NOT EXT4? EXT4也是一款非常好的文件系统 性能与XFS接近，甚至好一些 并且可以从EXT3无缝升级 But 我们没有运维EXT4的经验 XFS Tips 分配组（Allocation Groups） 延时分配（Delay Allocation） 多线程DirectIO 全B+ Tree管理空间 EXT3 vs XFS(1) 硬件环境 CPU：Intel Xoen 5520 内存：24G 硬盘：10*15k SAS RAID10 MySQL：5.1.40 Enterprise EXT3 vs XFS(2) 硬件环境 CPU：Intel Xoen 5520 内存：24G 硬盘：10*15k SAS RAID10 MySQL：5.1.40 Enterprise Why Percona Percona的优势 对SSD设备有专门的优化 对Flashcache有SQL层接口 允许XtraDB静态编译 支持多种页大小 提供额外的监控参数 有被生产环境考验过（SOHU） Percona存在的问题 引入第三方补丁较多，可能存在Bug（可以接受） New Future(1) 文件格式 Compressed结构：CPU换IO Dynamic结构：ROW中不存大字段前缀 IO参数 IO容量：innodb_io_capacity IO线程数：innodb_read_io_threads(预读)、innodb_write_io_threads(赃页回写)、innodb_use_purge_thread(清理UNDO) 赃页刷新方式 innodb_adaptive_checkpoint (XtraDB) innodb_adaptive_flushing (InnoDB Plugin) New Future(2) 扩展性 增强多处理机性能（About 24 Cores） 拆分Buffer Pool Mutex（buf_pool_mutex、LRU_list_mutex、flush_list_mutex、page_hash_latch、free_list_mutex、zip_free_mutex、zip_hash_mutex） 功能 可变页大小（innodb_page_size） 可控的Insert Buffering和Adaptive Hash Index 可配置多回滚段（innodb_extra_rsegments） 快速Warn Up（innodb_buffer_pool_shm_key 、XTRA_LRU_DUMP/XTRA_LRU_RESTORE） 快速创建索引和索引快速重命名 New Future(3)