主流云平台培训课件.ppt

AWS ON-DEMAND PAY AS YOU GO ELASTIC Amazon提供的云计算服务 弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay 灵活支付服务FPS EC2 EC2（Elastic Compute Cloud）,一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。 主要特性： 灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行的地理位置。可以根据用户的需求随时改变实例的使用数量。 低成本：按小时计费 安全性：SSH、可配置的防火墙机制、监控等 易用性：用户可以根据亚马逊提供的模块自由构建自己的应用程序，同时EC2还会对用户的服务请求自动进行负载平衡 容错性：弹性IP EC2相关概念 AMI（Amazon Machine Image） 由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用程序组成。 ——AMI是用户整个云计算平台运行的基础，用户使用EC2服务的第一步就是要创建一个自己的AMI。 ——公共AMI、私有AMI、付费AMI、共享AMI 资源 Small Large Extra Large High-CPU Medium High-CPU Extra Large 平台 32位 64位 64位 32位 64位 CPU 1ECU 4ECU 8ECU 5ECU 20ECU 内存 1.7G 7.5G 15G 1.7G 7G 存储容量 160G 850G 1690G 350G 1690G 实例类型名 m1.small m1.large m1.xlarge c1.medium c1.xlarge EC2相关概念 弹性块存储EBS（Elastic Block Store） 卷，每个EBS最多创建20个卷 快照 EC2的基本架构 Dynamo Dynamo在Amazon服务平台中的地位 Dynamo架构的主要技术 问题 采取的相关技术 数据均衡分布 改进的一致性哈希算法，数据备份 数据冲突处理 向量时钟（vector clock） 临时故障处理 Hinted handoff（数据回传机制），参数（W,R,N）可调的弱quorum机制 永久故障后的恢复 Merkle哈希树 成员资格以及错误检测 基于gossip的成员资格协议和错误检测 数据均衡分布的问题 一致性哈希算法 优势： --负载均衡 --屏蔽节点处理能力差异 Dynamo的数据冲突处理 最终一致性模型 向量时钟 （Vector Clock） Dynamo的临时故障处理机制 读写参数W、R、N N：系统中每条记录的副本数 W：每次记录成功写操作需要写入的副本数 R：每次记录读请求最少需要读取的副本数。 满足R+WN，用户即可自行配置R和W 优势：实现可用性与容错性之间的平衡 NWR -- {3, 2, 2} S3 S3为任意类型的文件提供临时或永久的存储服务 非传统关系数据库存储模式 简单、高效 存储、读取，非查询 S3 对象：S3的基本存储单元（数据、元数据），数据类型任意 键（key）：对象的唯一标识符 桶（bucket）：存储对象的容器（不能嵌套、在S3中名称唯一、每个用户最多创建100个桶） S3 Example S3的设计思路 S3的数据一致性模型 冗余存储 最终一致性模型 Thank You Q A * * 在数据被充分的传播到所有的存放节点之前返回给用户的仍是原数据 HBase简介 HBase，类似Bigtable的分布式结构化数据库系统， Bigtable是 Google Style的数据库，使用结构化的文件来存储数据。 与RDBMS的比较 HBase数据模型 定义:ＢＴ是一个稀疏的，长期存储的，多维度的，排序的映射表。 索引: 行键：表的主键，记录按行键排序 列键：一个或多个，支持动态扩展，以字节形式存储，需用户自己进行类型转换 时间戳：每次操作有对应时间戳，相当于版本号 行 每一行都有一个可排序的主键和任意多的列。 行关键字可以是任意字符串 表用行键即主键排序，通过主键访问表。 在一个行关键字下的每一个读写操作都是原子操作 有利于并发操作 举例，在Webtable里，通过反转URL中主机名的方式，可以把同一个域名下的网页组织成连续行。 列簇 每行列分组形成列簇：“family:qualifiers” 每张表有一个family集合，固定不变，相当于表结构 列簇成员有相同前缀。address:city与address:street都属于address列簇成员 同一列簇下存放的所有数据通常都是同一类型 列簇必须先创建，然后能在其中的列关键字下存放数据