求出设备节点的哈希值-中国云计算.pptxVIP

电子工业出版社《云计算(第二版)》配套课件 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作 第3章 Amazon云计算AWS 《云计算（第二版）》购买网址： 当当网 京东商城 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城 提 纲  Amazon平台基础存储架构：Dynamo  弹性计算云EC2  简单存储服务S3  简单队列服务SQS  简单数据库服务Simple DB  关系数据库服务RDS  内容推送服务CloudFront  其他Amazon云计算服务  AWS应用实例 小结 Amazon提供的云计算服务 弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay 灵活支付服务FPS Dynamo在Amazon服务平台的地位 面向服务的Amazon平台架构 Amazon平台的架构是完全的分布式、去中心化 需求——Amazon平台中有很多服务对存储的需求只是读取、写入，（满足简单的键/值式存储） Amazon怎么处理这个需求？ Dynamo 简单的键/值方式存储数据，不支持复杂的查询  存储的是数据值的原始形式（bit），不解析数据的具体内容、不识别任何数据结构，这使得它几乎可以处理所有的数据类型 Amazon平台基础存储架构：Dynamo Dynamo架构的主要技术 问题 采取的相关技术 数据均衡分布 改进的一致性哈希算法，数据备份 数据冲突处理 向量时钟（vector clock） 临时故障处理 Hinted handoff（数据回传机制），参数（W,R,N）可调的弱quorum机制 永久故障后的恢复 Merkle哈希树 成员资格以及错误检测 基于gossip的成员资格协议和错误检测 数据均衡分布的问题 一致性哈希算法 平衡性 单调性 分散性 负载 两步进行： 求出设备节点的哈希值，并配置到环上的一个点；接着计算数据的哈希值，按顺时针方向将其映射到环上距其最近的节点； 添加新节点时，按照上述规则，调整相关数据到新的节点上。删除节点和添加节点过程相反 Dynamo采用的改进算法 虚拟节点 数据分区和等份存储 数据备份 当数据被均匀存储到环上各节点后，Dynamo将冗余存储数据（备份数据） 思考：Amazon可以保证相邻的节点分别位于不同地区区域，即使某个数据中心由于自然灾害或断电的原因整体瘫痪，仍可以保证在世界上其他数据中心中保存有数据的备份。这里就有一个非常重要的问题——如何进行节点分布，保证相邻节点位于不同的数据中心 ？ 数据冲突问题 Dynamo系统选择牺牲一致性来换取系统的可靠性和可用性 解决数据冲突： 最终一致性模型（Eventual Consistency） 向量时钟 向量时钟原理图 容错机制 Dynamo临时故障处理机制 1）临时故障处理机制 在数据读写中采用了一种称为弱quorum（Sloppy quorum）的机制，涉及三个参数W、R、N W—代表一次成功的写操作至少需要写入的副本数 R—代表一次成功读操作需由服务器返回给用户的最小副本数 N—每个数据存储的副本数 满足R+WN，用户即可自行配置R和W 优势：实现可用性与容错性之间的平衡 容错机制 2）永久性故障处理机制 Merkle哈希树技术 每个虚拟节点保存三颗Merkle树，即每个键值区间建立一个Merkle树 哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值，父节点是其所有子节点的哈希值 成员资格及错误检测 基于Gossip协议的成员资格检测机制 Gossip（闲聊）协议 错误检测机制 基于Gossip协议的成员资格检测机制 基于Gossip协议的最优传遍路径 提 纲  Amazon平台基础存储架构：Dynamo  弹性计算云EC2  简单存储服务S3  简单队列服务SQS  简单数据库服务Simple DB  关系数据库服务RDS  内容推送服务CloudFront  其他Amazon云计算服务  AWS应用实例 小结 主要特性 灵活性：EC2允许用户对运行实例类型、数量自行配置，还可以选择实例运行的地理位置，根据用户的需求随时改变实例的使用数量 低成本：EC2使得企业不必为暂时的业务增长而购买额外的服务器等设备。EC2的服务都是按小时来收费，而且价格非常合理 安全性：EC2向用户提供了一整套安全措施，包括基于密钥对机制的SSH方式访问、可配置的防