面向海量结构化数据管理的高可用分布式数据库系统.pptx

PPT格式，可编辑可复制面向海量结构化数据管理的高可用分布式数据库系统第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT数据类型函数事务管理DDLDMLSQL? 类型转换? 字符串处理? 日期时间处理? 聚集函数? 窗口函数? ……BigintIntVarcharBoolDatetimeTimestampDate/TimeDouble/RealDecimalDatabaseTableIndexSequenceInsertReplaceUpdateDeleteSelect? ……Start transaction/ BeginCommitRollbackCreate userDrop userGrantRevokePrepareExplain语 言 支 持第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT事务日志事务管理SQL解析应用程序编译器查询执行器SQL解析编译器应用程序数 据 库 引 擎基 本 原 理查询执行器事务管理缓冲区管理MS …MSMS文件管理UPS权限管理查询执行器…RSCSCSCS磁 盘 存 储缓冲区管理统计数据索引文件管理数据字典数据文件日志数据分片集群管理传统RDBMS架构OBASE架构第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT? Root Server：实现数据分布、副本管理、集群管理等功能，自动选主；? Update Server：内存数据库引擎，实现事务处理，存储增量数据，由主RS选主；? Chunk Server：分布式数据存储服务，存储基准数据；? Merge Server：查询处理服务，实现SQL解析、生成并执行查询计划；多 活 部 署跨 机 房 容 灾机房1机房2机房3MS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CS 备RS/备UPSMS/CSMS/CSMS/CS主RS/主UPS备RS/备UPS自动选主第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT? 随着业务负载的增加，可以随时向集群中添加MS/CS，分担负载；? 系统会自动进行数据分片的迁移，以实现负载均衡；? 当节点出现故障时，系统自动计算数据分片的副本数，根据需要生成新副本；在 线 扩 容自 动 容 错机房1机房2机房3MS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CSMS/CS MS/CSMS/CSMS/CS备RS/备UPS主RS/主UPS备RS/备UPS第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT?数据文件在集群内多副本冗余存储?缺省为3个副本，自动做负载均衡；?在3台同时损坏的场景下不丢数据、不停服务；?机房断电后，重启时通过自动回放日志恢复内存数据；?管理节点基于Raft协议实现自动选主?与传统数据库采用相同的WAL日志策略；?主机日志同步到半数以上备机时才可以提交事务；?支持在线灰度升级和扩容?支持在线更换磁盘数 据 安 全 性第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT管 ?理论上单表记录数没有上限；理 ?XX银行历史库系统2014年10月上线；海 ?同城异地双活部署（单集群21台x86服务器）量 ?40TB，单表最大140+亿记录/1.3+TB结 构 化 数 据数据量Top10 记录数Top 101600 1400120010008006004002000160140120100806040200x 100000000数据文件大小（GB）记录数4123 3682 3715 3208 3303 3179 3726 3076 3020 4282数据表ID37153682412333033451 3208数据表ID3423372631793730第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITSYSBENCHSysBenchSysBenchPartition1Partition4万兆交换机万兆交换机Partition2partition3性 能 测 试MySQL+中间件MySQL+中间件UPS/RSCS/MSMySQL+中间件MySQL+中间件CS/MSCS/MS? 环境配置?CPU：E5-2650v3*2?SSD：600GB SATA SSD*6SAS? 数据集：10,000,000记录/表*10内存：512GB磁盘：600GB 10K *2/阵列卡第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITMySQL+中间件OBASE集群40003500303000分 钟TPS (T