中国云计算技术（一）.pptxVIP

主讲教师：XXX中国云计算技术目录1国产大数据库技术CONTENT1.国产大数据技术阿里巴巴OceanBaseOceanBase主要是为了解决淘宝网的大规模数据而产生的，是一个支持海量数据的高性能分布式数据库系统，达到管理数千亿条记录的规模，支持在数百TB数据上跨行跨表事务并支持SQL操作。到目前为止，OceanBase支持了收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务，线上数据量已经超过千亿条记录。1.国产大数据技术阿里巴巴OceanBase系统架构PootServer/UpdataServer(备)PootServer/UpdataServer(主)ChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServer1.国产大数据技术阿里巴巴OceanBase基于MySQL数据库开发的应用程序、工具能够直接迁移到OceanBase客户端配置服务器，一般是单台服务器。记录commitlog并通常采用双机热备RootServer存储OceanBase系统的增量更新数据。UpdateServer保存基准数据的服务器，通常是多台，同一份基准数据通常保存3份并存储在不同的ChunkServer上ChunkServer接收并解析用户的SQL请求经过词法分析、语法分析、查询优化等一系列操作后转发给相应的ChunkServer或者UpdateServerMergeServer1.国产大数据技术Mysql客户端，JDBC/ODBC等阿里巴巴OceanBaseSQL请求数据查询流程MergsServerMergsServerMergsServerMS-SQLMS-SQLMS-SQLMysql协议Mysql协议Mysql协议读事务写事务ChunkServerChunkServerChunkServerChunkServerUPS-SQLCS-SQLCS-SQLCS-SQL读取修改增量1.国产大数据技术阿里巴巴OceanBase系统特点及优势主体数据在一段时间内保持相对稳定以内存保存增删改记录极大地提高了系统写事务的性能扩充UpdateServer内存即增加了内存中容纳的修改量动态数据服务器UpdateServer写commitlog并采取双机（甚至多机）热备OceanBase按主键的范围查询对应着连续的磁盘读1.国产大数据技术阿里巴巴OceanBaseUpdateServer类似于DBMS中的DB角色，提供跨行跨表事务和很短的查询修改的响应时间以及良好的一致性ChunkServer具有数据多副本、中等规模数据粒度、自动负载平衡、宕机恢复、机器plugandplay等特点，系统容量及性能随时扩展MergeServer结合ChunkServer和UpdateServer，获得最新数据，实现数据一致性RootServer类似于云计算中的主控机（如GFSmaster），进行机器故障检测、负载平衡计算、负载迁移调度等1.国产大数据技术阿里巴巴OceanBase可靠性与可用性OceanBase在ChunkServer中保存了基准数据的多个副本。OceanBase在UpdateServer中保存了增量数据的多个副本。ChunkServer的多个副本可以同时提供服务。UpdateServer主备之间为热备，同一时刻只有一台机器为主UpdateServer提供写服务。OceanBase存储多个副本并没有带来太多的成本。在OceanBase系统中，用户的读/写请求，即读/写事务，都发给MergeServer。1.国产大数据技术阿里巴巴OceanBase只读事务执行流程如下：MergeServer解析SQL语句，词法分析、语法分析、预处理，最后生成逻辑执行计划和物理执行计划。1MergeServer将请求拆分后同时发给多台ChunkServer并发执行，每台ChunkServer将读取的部分结果返回MergeServer2如果SQL请求涉及多张表格，MergeServer还需要执行联表、嵌套查询等操作。3MergeServer将最终结果返回给客户端。41.国产大数据技术云创存储数据立方（DataCube）索引SHELLJDBC数据立方（DataCube）的结构分为用户接口、索引、SQL解析器、作业生成器、元数据管理、并行计算架构、分布式文件系统等部分，如图所示。SQL解析器JobBuilderMetadata并行计算框架分布式文件系统1.国产大数据技术Zookeeper云创存储数据立方（DataCube）Master（主）Master（备）日志NameNode（主）NameNode（备）心跳SlaveSlaveSlave……