网易DDB性能优化实践.pdf

2016-11-20 网易DDB性能优化实践 嘉宾 ：马进 （@马进app ） 公众号 ：datamanagement Outline • DDB介绍 • DDB架构变迁 • 性能优化实践 • 未来规划 1 2016-11-20 DDB——十年一剑 • 分库分表数据库DDB - 海量结构化数据存储，TB级别热点数据 - 高并发访问，应对OLTP在线事务型的应用 - 数据扩容，在线增删数据库节点，完善的DBA工具 - 透明分库分表，MySQL通信协议兼容 DDB功能价值 • 分区方案选型 - 常规：取模哈希 + 桶 （虚拟节点） - 桶 + 取模哈希 + 均衡策略 = 单调性 + 均衡性 + 易用性 - 支持自定义哈希函数，可定制List和range分区 - 不能迁移的分区都是耍流氓 2 2016-11-20 DDB功能价值 • 增量迁移工具Hamal - 库迁移场景：节点扩容缩容，集群机房迁移 - 表迁移场景：表级扩容缩容，更改均衡策略/字段 - 功能亮点：断点续传，并行复制 记录Binlog位置点 isql全量迁移 Hamal增量复制 切表/切库 DDB功能价值 • 分布式事务 - 透明的两阶段提交过程 - 系统自动识别是否需要两阶段，优先一阶段 - insert into A values(1, ’test1’),(2, ’test2’); 分区字段 branch: xaConnection2 branch: xaConnection1 insert into A values(2, ‘test2’) insert into A values(1, ‘test 1’) Prepare Prepare parallel prepare wait for all prepared… wait for all prepared… wait for fsync…. wait for fsync…. prepared log(blocked) commit commit commit log(unblocked) 3 2016-11-20 DDB功能价值 • 分布式执行计划 DDB功能价值 • 功能特性 - 90% 以上的SQL92兼容性，向MySQL语法靠拢 - 命令行工具isql，管理工具DBAdmin - 支持数据节点手动或自动fail over - 基于hint 的读写分离功能