二服务计算技术与系统教育部重点试验室.pptVIP

*GFS是为高容错设计的，并采纳了一些方法来达到这个目标。主机和块服务器能够在数秒之内重启，有了这么快的恢复能力，数据不可使用的时间窗口将大大减少。正如上文中提到的，每个块至少在三个地方上备份，并且在一个数据块上至少能够容忍两处数据崩溃。影子主机用来处理GFS主机的故障。对于数据完整性，GFS在每个块上每64KB就进行校验和。有了前面讨论过的设计和实现，GFS可以达到高可用性、高性能和大规模的目标。GFS证明了如何在商业硬件上支持大规模处理负载，这些硬件被设计为可容忍频繁的组件故障，并且为主要附加和读取的大规模文件进行了优化。*BigTable——谷歌的NOSQL系统BigTable提供了一个服务，用来存储和检索结构化与半结构化的数据。BigTable应用包括网页、每个用户数据和地理位置的存储。使用商用数据库系统来解决如此大规模结构化或半结构化的数据是不可能的。这是重建数据管理系统的一个原因；产生的系统可以以较低的增量成本应用在很多项目中。重建数据管理系统的另一个动机是性能。低级存储优化能显著地提升性能，但如果运行在传统数据库层之上，则会困难得多。*BigTable系统的设计和实现有以下的目标。应用程序需要异步处理来连续更新不同的数据块，并且需要在任意时间访问大部分的当前数据。数据库需要支持很高的读/写速率，规模是每秒数百万的操作。另外，数据库还需要在所有或者感兴趣的数据子集上支持高效扫描，以及大规模一对一和一对多的数据集的有效连接。BigTable能够看做是分布式多层映射。它像存储服务一样提供了容错能力和持续数据访问。BigTable使用如下的构建模块：1.GFS：存储持续状态2.调度器：涉及BigTable服务的调度作业3.锁服务：主机选择，开机引导程序定位4.MapReduce:通常用来读/写BigTable数据*图6-20BigTable数据模型和系统结构*子表位置分层图6-21描述了如何对从Chubby中存储的文件开始的BigTable数据进行定位。*Chubby——谷歌的分布式锁服务Chubby用来提供粗粒度锁服务。它能在Chubby存储中存储小文件，这里提供了一个简单命名空间作为文件系统树。和GFS中的大规模文件相比，存储在Chubby上的文件是非常小的。基于Paxos一致协议*6.4亚马逊AWS与微软Azure中的编程亚马逊EC2上的编程亚马逊是第一家引入应用托管虚拟机的公司。用户可以租借虚拟机而不是物理机器来运行他们的应用程序。通过使用虚拟机，用户可以自己选择加载任意软件。这类服务的弹性特点是用户可以根据需要创建、启动和终止服务器实例，并且对活动服务器按小时支付费用。亚马逊提供几种类型的预装虚拟机。实例通常称为亚马逊机器镜像（AmazonMachineImage，AMI）。这些虚拟机预先配置了Linux或者Windows的操作系统和一些附加软件。**图6-23亚马逊EC2运行环境***图6-24亚马逊S3运行环境TheAmazonWebService(AWS)Platform*亚马逊简单存储服务（S3）亚马逊S3提供一个简单Web服务接口，利用该接口可以在任意时间、任意地点通过Web存储和检索任意数据。S3为用户提供面向对象的存储服务。用户可以通过带有支持SOAP的浏览器或者其他客户端程序的SOAP来访问他们的对象。对象是S3的基本操作单元。每个对象被存储在桶里，通过唯一的开发者分配的键值来被检索。也就是说，桶是对象的集装器。除了唯一的键值属性以外，对象还有数值、元数据和访问控制信息等其他属性。从程序员的角度来看，S3的存储可以被看做一个非常粗粒度的键-值对存储。通过键-值编程接口，用户可以读、写和删除对象。用户可以通过两类Web服务接口访问亚马逊云存储的数据。*亚马逊弹性数据块存储服务（EBS）和SimpleDB弹性块存储（EBS）提供卷块接口用于存储和恢复EC2实例的虚拟镜像。在机器关闭后，EC2的状态仍被保存在EBS系统中。用户可以使用EBS保存永久性数据和安装到EC2的运行实例。S3是带消息传递接口的“存储即服务”。EBS类似于传统的操作系统磁盘访问机制的分布式文件系统。在亚马逊EBS卷上，用户可以创建一个文件系统，也可以按使用块设备的其他任意方式来使用存储卷。快照用来增量地保存数据，利用快照可以提高数据存储和恢复的性能。*亚马逊SimpleDB服务SimpleDB基于关系数据库数据模型提供了一个简单数据模型。用户的结构化数据被组织到域中，每个域可以看做是一