请在此处输入封面主标题-LeeHao.docxVIP

AuroraPolarTaurus An Introduction to Cloud RDBMS Issues 传统的云数据库 读写实例和只读实例各自拥有一份独立的数据，用户购买只读实例，不仅需要付出计算的成本，也需要付出存储资源的成本。 传统备份技术，由于也涉及到拷贝数据，并上传廉价存储，速度因此也受网络影响。 读写实例和只读实例各自拥有一份独立的数据，新建一个只读实例需要重新拷贝数据慢. MySQL/PostgreSQL等并未对当前硬件/系统软件新特性进行优化，同时由于存在某些特性，导致日志多份写等， 例如：MySQL Bin Log. 由于物理硬件的限制和备份策略等，使得单节点的数据库容量不能太大. 读写实例和只读实例通过增量逻辑数据同步，导致语句过在replica上进行重复解析，执行，存在多余重复计算。 Issues Amazon S3: Amazon Simple Storage Service In progress. 网络技术技术的发展. 更高速的网卡，交换机，光纤技术的使用； 新的系统软件和协议的发展 例如：RDMA. (Remote Direct Memory Access)； 传统的TCP/IP协议, 网卡, 操作系统, TCP/IP协议栈, 应用等, 导致调用链路过长； RDMA, 可以直接访问网络一段的某个主机上的内存地址，从而减少了过长的调用链路； InfiniBand and Enthernet, 两类协议：iWARP and RoCE； 新理念, LOG IS DATABASE. 通过重放REDO LOG； Binlog(in MySQL) 不在需要，减少IO； 存储和计算分离； 分布式文件系统； 分布式计算； 更加强劲的网络基础设施； 新的需求的提出，例如：低成本，低延时，高吞吐量，低备份/修复时间等等. AWS Aurora. 由Amazon提出的一种新型架构的云数据库. 基本的理念：存储和计算能力将不再是整个系统的瓶颈，网络才是； 通过将IO更加均匀的分散在整个系统下； 使得IO操作能够并行进行 同步，上下文切换，读磁盘，Cache Miss，Cache置换等等都是影响这个系统整体性能的瓶颈； 2PC提交，导致系统的整体性能下降. 系统的可靠性变差; 不能容忍分布式环境下的短暂故障； 系统延时增加； AWS Aurora. 贡献 跨多数据中心的具有自治愈的独立容错的存储服务，网络环境或者云环境下的存储failure具有一定的容错性； Quorum model，解决网络环境所导致的关联性失败(Correlated Failure) 仅仅写 Redo Log到存储设备上，可以使得网络的IOPS降低一个量级； 将某些复杂和关键的一些函数，从一个单次执行的耗时的方法，该为将其分布在分布式系统中的多个节点上运行，减少了这些函数的执行时间； 备份和Redo恢复 AWS Aurora. Quorum Model 鸽巢原理； 解决由于分布式环境下所带来的由于网络环境噪声所带来的节点不可用； Vr for reading, and Vw for writing. Vr +Vm V. 保证读操作总能读到最新的数据。 每个写操作必须能够感知大多数的写操作，从而能够避免写冲突， 为了满足上述需求，必须满足：Vw V /2 ; 通常的做法是 V =3, Vw = 2 and Vr =2; AWS Aurora. Quorum Model In Aurora 为了避免az间的故障和az内的故障，aurora提供了一个新的方案；容忍（1）整个az挂掉，外加一个节点挂掉 （AZ + 1），而不丢数据；（2）整个az挂掉，不影响写操作；为了完成上述的要求；我们采用6副本，3 az的方式，每个az中放2个副本； 当我们采用v =6的 quorum模型时候，Vw=4; Vr = 3；在该模型下，我们可以容忍挂掉一个az，而不是丢失可读性；丢失两个阶段，（包括：整个一个az），仍然保持可写性； 应用场景假设条件：平均修复时间较短，小于两个非相关的节点down掉的时间；即：在很短的时间内可以修复； AWS Aurora. Segmentation Storage 将数据库的容量，分成固定大小的一个个Segmentation， 10G； 每块复制 6份，复制到保护组(Protection Group)，这样每个保护组内有6个10G的seg存在。分散在3个AZ(Availability Zone)中; 所以存储容量是由一系列的PG，concatenated构成（收尾想接构成），PG会随着容量的增加而自动分配，最多可以到64TB segment，作为后台独立的单元，进行维修。10gb可以在 10gb