网易分布式数据库平台.pdf

网易分布式数据库平台 王磊@网易杭研院 平台简介 • 网易分布式数据库平台（DDB）是一种面向结构化数据的通用存储解 决方案，基于关系数据库集群解决结构化数据的海量存储和高效访 问。 • 设计目标： – 海量结构化数据存储（10TB以上） – 高并发、低延迟 – 面向关系模型和OLTP – 方便应用开发、通用性强 – 可动态扩展 – 数据安全可靠 – 方便维护性 – 低成本 功能特点 • 基于Sharding的Scale Out • 支持常用的RDB功能：DDL、DML、全局ID分配等 • 事务支持：节点内、跨节点、跨DDB。 • 多平台和多语言环境下的通用SQL访问接口。 • 支持MySQL和Oracle混合使用。 • 支持读写分离和读操作负载均衡 • 支持用户管理和权限控制 • 支持在线扩容 • 命令行和图形化管理工具。 系统架构 Sharding实现 • 均衡字段：用来定位记录所在DBN的表字段。 • 均衡策略：均衡函数、桶、存储映射表。 • 表 -- 均衡策略：多对一 哈希函数 存储映射表 (固定) 哈希表 (可调整) 逻辑ID H SN 1 SN 2 负载信息 查询处理流程 SELECT * FROM T 语法 查询结果 WHERE a = 1 ORDER BY b 解析 LIMIT 100 OFFSET 100 LIMIT 100 存储映射表 LIMIT OFFSET 100 发送给后台的 T, a=1 计划 MERGE 查询计划 SQL语句，可能 生成 SORT ORDER BY b 与原语句不同 SN1, SN2 SELECT * FROM T SELECT * FROM T WHERE a = 1 WHERE a = 1 ORDER BY b LIMIT 200 ORDER BY b LIMIT 200 根据“存储映射表” 计划 与查询条件，可决定 执行 各后台数据库查询结 相关存储节点 果，按b排好序 SN 1 SN 2 查询处理实现原则 • 选