云计算概述及google搜索引擎系统结构解析.pptxVIP

第9讲 云计算概述及Google搜索引擎解析丁贵广清华大学软件学院主要内容云计算概述文档的倒排索引Google搜索引擎系统分析云计算的定义 维基百科的定义：云计算是一种能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式，用户不需要知道如何管理那些支持云计算的基础设施。 云计算的特征硬件和软件都是资源，通过互联网以服务的形式提供给用户这些资源都可以根据需要进行动态扩展和配置这些资源在物理上以分布式的共享方式存在，但最终在逻辑上以单一整体的形式呈现。用户按需使用云中的资源，按实际使用量付费，而不需要管理他们。云计算的分类按服务类型：按服务方式：公有云、私有云、混合云网格计算与云计算的比较云计算的概念模型云计算技术体系结构云计算实现机制Cloud Computing云计算发展现状Amazon研发了弹性计算云EC2（Elastic Computing Cloud）和简单存储服务S3（Simple Storage Service）为企业提供计算和存储服务。诞生两年时间，Amazon上的注册开发人员就多达44万人，其中包括为数众多的企业级用户。Amazon云计算简单存储服务S3（Simple Storage Service）桶操作API:CreateBucketDeleteBucketListBucket对象操作API:PutObjectGetObjectDeleteObjectGetObjectAccessControlPolicySetObjectAccessControlPolicy1GB数据存放1个月为0.15美元Amazon云计算弹性计算云EC2（Elastic Computing Cloud）映像操作API:RegisterImageDescribeImagesDeregisterImage运行实例操作API:RunInstancesDescribeInstancesTerminateInstancesGetConsoleOutputRebootInstances每个服务器租用1小时为0.1美元应用案例：GIGAVOX公司应用案例：SmugMug公司应用案例：纽约时报使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章累计花费240美元如果用自己的服务器，需要数月和多得多的费用 云计算发展现状Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长。Google的一系列成功应用，包括Google地球、地图、Gmail、Docs等也同样使用了这些基础设施。目前，Google已经允许第三方在Google的云计算中通过Google App Engine运行大型并行应用程序。Hadoop模仿了Google的实现机制。Google云计算应用的分类Google云计算客户端客户端客户端客户端客户端客户端客户端客户端Google文件系统(GFS)GFS主节点MSN19%互为备份客户端管理节点GFS主节点Google48%C1C1C0C0C5Yahoo33%…C2C2C5C5C1数据结点2数据结点N数据结点1云计算发展现状微软于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型。Azure的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。目前，微软已经配置了220个集装箱式数据中心，包括44万台服务器。微软云计算Windows Live云计算发展现状IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。欧盟提供了1.7亿欧元作为部分资金。2008年8月， IBM宣布将投资约4亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造。IBM计划在2009年在10个国家投资3亿美元建13个云计算中心。开源云计算系统开源云计算系统对应的商用云计算系统Hadoop HDFSGoogle GFSHadoop MapReduceGoogle MapReduceHadoop HBaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyEucalyptus、Enomaly ECP、NimbusAmazon EC2EucalyptusAmazon S3Sector and Sphere无直接对应系统abiquo无直接对应系统MongoDB无直接对应系统主要内容云计算概述文档的倒排索引Google搜索引擎系统分析Indexer stepsSequence of (Modified t