结构化分布式数据库系统介绍.pptx

面向海量结构化数据管理的高可用分布式数据库系统采用分布式架构，数据多副本冗余存储基于Raft协议实现集群的高可用，支持跨机房多活部署；无需用户定义分库分表，数据表自动按主键划分为多个子表；数据冗余存储在集群中，能够自动迁移；面向OLTP应用，支持Read Commited事务隔离级别通过内存事务引擎实现集中式写事务，避免分布式事务；支持可扩展的数据存储和分布式读事务；支持SQL查询，SQL语法遵循SQL92标准；OBASE分 布 式 数 据 库数据类型事务管理SQLDDLDML函数BigintIntVarcharBoolDatetimeTimestampDate/TimeDouble/RealDecimalStart transaction/ BeginCommitRollbackCreate userDrop userGrantRevokePrepareExplain类型转换字符串处理日期时间处理聚集函数窗口函数……DatabaseTableIndexSequenceInsertReplaceUpdateDeleteSelect……语 言 支 持事务日志事务管理SQL解析应用程序编译器查询执行器SQL解析编译器应用程序数 据 库 引 擎基 本 原 理查询执行器MS …事务管理缓冲区管理MSMSUPS文件管理权限管理数据分片查询执行器…CSCSCS磁 盘 存 储缓冲区管理RS统计数据索引文件管理数据字典数据文件日志集群管理传统RDBMS架构OBASE架构Root Server：实现数据分布、副本管理、集群管理等功能，自动选主；Update Server：内存数据库引擎，实现事务处理，存储增量数据，由主RS选主；Chunk Server：分布式数据存储服务，存储基准数据；Merge Server：查询处理服务，实现SQL解析、生成并执行查询计划；多 活 部 署跨 机 房 容 灾机房2机房1机房3MS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CS MS/CSMS/CSMS/CS主RS/主UPS备RS/备UPS备RS/备UPS自动选主随着业务负载的增加，可以随时向集群中添加MS/CS，分担负载；系统会自动进行数据分片的迁移，以实现负载均衡；当节点出现故障时，系统自动计算数据分片的副本数，根据需要生成新副本；在 线 扩 容自 动 容 错机房1机房2机房3MS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CS MS/CSMS/CSMS/CS备RS/备UPS主RS/主UPS备RS/备UPS数据文件在集群内多副本冗余存储缺省为3个副本，自动做负载均衡；在3台同时损坏的场景下不丢数据、不停服务；机房断电后，重启时通过自动回放日志恢复内存数据；管理节点基于Raft协议实现自动选主与传统数据库采用相同的WAL日志策略；主机日志同步到半数以上备机时才可以提交事务；支持在线灰度升级和扩容支持在线更换磁盘数 据 安 全 性管 ?理论上单表记录数没有上限；理 ?XX银行历史库系统2014年10月上线；海 ?同城异地双活部署（单集群21台x86服务器）量 ?40TB，单表最大140+亿记录/1.3+TB结 构 化 数 据数据量Top10 记录数Top 101600 160140x 1000000001400数据文件大小（GB）12001201000100记录数80080600604004020020004123 3682 3715 3208 3303 3179 3726 3076 3020 4282数据表ID3715 3682 4123 3303 3451 3208 3423 3726 3179 3730数据表IDSYSBENCH性 能 测 试SysBenchSysBenchPartition1Partition4万兆交换机万兆交换机Partition2partition3MySQL+中间件MySQL+中间件UPS/RSCS/MSMySQL+中间件MySQL+中间件CS/MSCS/MS环境配置CPU：E5-2650v3*2SSD：600GB SATA SSD*6SAS数据集：10,000,000记录/表*10内存：512GB磁盘：600GB 10K *2/阵列卡3040003500分 钟 3000TPS (Transactions per SecondP 比5000100SysBench并发线程数12040608012014016018020030MySQL+中间件OBASE集群120100平均响应时间 (ms)分 钟 响 应 时 间 对 比80 6040 200100SysBench并发线程数120406080120140