[互联网]曲山-OceanBase内部探秘.ppt

OceanBaseinternals 2011.6 TaoBao-CoreSystem-Storage qushan 1 存储需求 架构概览 主要流程 系统特性 数据模型 应用案例 未来展望 2 Agenda 海量数据的挑战 2010部分运营数据 注册会员：3.7亿，来访人群峰值6000万 日PV：超过20亿 在线商品数：8亿 每分钟销售商品：4.8万 交易额：单日超10亿，光棍节 19.5亿 淘宝商品库、评价库、交易订单库、用户库、店铺库… 今后几年信息量还将增长几倍到几十倍 分库分表也不一定总是奏效 3 数据来源：/posts/52702.html OceanBase 海量数据存储特点的进一步分析 数据量大但修改量较小，一亿次更新 * 100B = 10G 区分最新修改的数据和老数据？ OceanBase = RDBMS + 云存储 增量数据(增删改)：单机之内存+SSD 基准数据：静态B+树，多机 数据 = 基准数据+增量数据 事务：集中化写事务+分布式读事务 4 现有存储方案对照 NoSQL系统 数据容量大、可扩展性好、容错能力强 没有跨行跨表事务、数据一致性弱 5 数据规模 事务与数据一致性 万亿记录(十PB) 千亿记录(百TB) 千万记录(百GB) 十亿记录(TB) 最终一致 单行事务 跨行跨表事务 存储需求 架构概览 主要流程 系统特性 数据模型 应用案例 未来展望 6 Agenda 7 系统逻辑架构 App(client) MergeServer(s) ChunkServer(s) query update query heartbeat, report tablets, get schema freeze , drop memtable query root table migrate, merge tablet merge query control data 8 系统物理架构 App(Client) ChunkServer/MergeServer ChunkServer/MergeServer ChunkServer/MergeServer ChunkServer/MergeServer RootServer/ UpdateServer (主) RootServer/ UpdateServer (备) 存储需求 架构概览 主要流程 系统特性 数据模型 应用案例 未来展望 9 Agenda 10 查询流程 App(client) MergeServer RootServer UpdateServer ChunkServer 4.静态数据查询 5.静态数据结果 2.CS定位请求 3.CS位置信息 6.动态数据查询 7.动态数据结果 1.数据查询请求 8.数据结果返回 11 事务流程 App(client) UpdateServer RootServer UpdateSlave commitlog ChunkServer 4.静态数据查询 5.静态数据结果 2.CS定位请求 3.CS位置信息 6.写操作日志 7.同步操作日志 1.事务请求 8.事务执行结果 渐进合并流程 12 RootServer UpdateServer 2.汇报当前冻结 表的版本 3.在心跳中返回 当前冻结表的版本 ChunkServer 4.查询冻结表数据 6.合并生成新的tablet 7.汇报新的tablet 8.更新roottable Disk(SSD) 1.按需冻结内存表 转储到SSD磁盘 5.冻结表数据返回 存储需求 架构概览 主要流程 系统特性 数据模型 应用案例 未来展望 13 Agenda ChunkServer 数据按key range 划分 增加CS线性扩展存储和扩展能力 UpdateServer 一主多备 一主写 多备读 MergeServer 每个MergeServer功能对等 增加MS线性扩展处理能力 14 扩展性 RootServer 双机热备,HA 租约机制，主备实时切换 短时间宕机对服务无影响 UpdateServer 一主多备 写操作日志,强同步到备机 租约机制，主备实时切换 MergeServer 多个MS同时服务 单台或是多台MS宕机不影响功能 ChunkServer Tablet多备份+即时复制 15 可靠性 负载平衡 读写分离 自动负载均衡 RootServer总体协调 负载均衡因素：内存，磁盘等资源占用，读写负载等； 数据迁移：迁移过程不影响对外服务 读写分离 ChunkServer只读，简化设计并提高读性能 UpdateServer采用copy-on-write数据结构，写不影响读 Oceanbase系统读和写基本不干扰 16 强一致 vs 弱一致 vs 最终一致 UPS数据写入强一