3.Amazon云计算中数据库技术探索.pptVIP

提 纲 ? Amazon平台基础存储架构：Dynamo ? 简单存储服务S3 ? 简单队列服务SQS ? 简单数据库服务Simple DB ? 关系数据库服务RDS SQL和NoSQL数据库的对比 SQL NoSQL 数据模型 数据处理 接口层 优势、劣势 严格约束 无约束 一致性、可用性 可用、分区容忍性 SQL语言访问 API实现 高一致性，ACID能力非常强，移植性很高；但在可扩展性方面能力较弱 高可扩展性，并发处理能力强；缺乏数据一致性保证，查询困难 RDS数据库原理 Share-Nothing架构 ?Amazon RDS—一种云中的MySQL数据库系统，采用集群方式将MySQL数据库移植到云中，在一定的范围内解决了关系数据库的可扩展性问题 ?MySQL集群采用了Share-Nothing架构 ?集群MySQL通过表单划分（Sharding）的方式将一张大表划分为若干个小表，分别存储在不同的数据库服务器上，从逻辑上保证了数据库可扩展性 RDS数据库原理 ?集群MySQL通过主从备份和读副本技术提高可靠性和数据处理能力 集群MySQL RDS的使用 ?Amazon将RDS中的MySQL服务器实例称做DB Instance，通过基于Web的API进行创建和管理，其余的操作可以通过标准的MySQL通信协议完成 ?可以通过两种工具对RDS进行操作 ?命令行工具：Amazon提供的Java应用套装，负责处理DB Instance的管理，比如创建、参数调整、删除等 ?MySQL客户端：可以与MySQL服务器进行通信的应用程序，比如MySQL Administrator客户端 Amazon平台基础存储架构Dynamo重要采用了哪些技术？用于解决什么问题？ 2．简单存储服务S3与传统的文件系统有哪些区别？ 3．简单阐述SQS在Amazon云计算中的作用。 思考题 《云计算（第二版）》购买网址： 当当网：/product.aspx?product_id京东商城：html * * * * * * 3. Amazon云计算中的数据库技术 提 纲 ? Amazon平台基础存储架构：Dynamo ? 简单存储服务S3 ? 简单队列服务SQS ? 简单数据库服务Simple DB ? 关系数据库服务RDS Amazon提供的云计算服务 ?弹性计算云EC2 ?简单存储服务S3 ?简单数据库服务Simple DB ?简单队列服务SQS ?弹性MapReduce服务 ?内容推送服务CloudFront ?电子商务服务DevPay ?灵活支付服务FPS Dynamo在Amazon服务平台的地位 面向服务的Amazon平台架构 ?Amazon平台的架构是完全的分布式、去中心化 ?需求——Amazon平台中有很多服务对存储的需求只是读取、写入，（满足简单的键/值式存储） Amazon怎么处理这个需求？ Dynamo ?简单的键/值方式存储数据，不支持复杂的查询 ? 存储的是数据值的原始形式（bit），不解析数据的具体内容、不识别任何数据结构，这使得它几乎可以处理所有的数据类型 Amazon平台基础存储架构：Dynamo Dynamo架构的主要技术 问题 采取的相关技术 数据均衡分布 改进的一致性哈希算法，数据备份 数据冲突处理 向量时钟（vector clock） 临时故障处理 Hinted handoff（数据回传机制），参数（W,R,N）可调的弱quorum机制 永久故障后的恢复 Merkle哈希树 成员资格以及错误检测 基于gossip的成员资格协议和错误检测 数据均衡分布的问题 ?一致性哈希算法 ?平衡性 ?单调性 ?分散性 ?负载 两步进行： 求出设备节点的哈希值，并配置到环上的一个点；接着计算数据的哈希值，按顺时针方向将其映射到环上距其最近的节点； 添加新节点时，按照上述规则，调整相关数据到新的节点上。删除节点和添加节点过程相反 ?Dynamo采用的改进算法 ?虚拟节点 ?数据分区和等份存储 ?数据备份 当数据被均匀存储到环上各节点后，Dynamo将冗余存储数据（备份数据） 思考：Amazon可以保证相邻的节点分别位于不同地区区域，即使某个数据中心由于自然灾害或断电的原因整体瘫痪，仍可以保证在世界上其他数据中心中保存有数据的备份。这里就有一个非常重要的问题——如何进行节点分布，保证相邻节点位于不同的数据中心 ？ 数据冲突问题 ?Dynamo系统选择牺牲一致性来换取系统的可靠性和可用性 ?解决数据冲突： ?最终一致性模型（Eventual Consistency） ?向量时钟